在谷歌学术中使用beautifulsoup和python中的selenium进行Web Scraping。

Question

我正试图从Google Scholar profiles中刮取。我需要具有我指定的特殊规格的配置文件。我在Python中使用了Beautifulsoup和selenium。例如，我需要一个大学的教授，他们在我指定的一些科目上工作。你的想法是什么？

我的方法是非常慢的，需要访问每个配置文件页面来检查我的特殊规格。如果你知道的话，请给我提供一个更快的方法。

如果存在一个快速和更好的方法来做这项工作，请说出来。

Answer 1

你可以像这样在url中添加你需要的科目。

https:/scholar.google.comcitations?hl=en&view_op=search_authors&mauthors=label:computer_vision+label:machine_learning。

在这里，我在寻找两个领域的作者：计算机视觉和机器学习。