是否有任何python lib可以抓取搜索引擎的结果？

Question

我正在寻找一个Python库，以从搜索引擎（谷歌，雅虎，必应等）中抓取结果。

我只为Google找到-> http://github.com/kevinw/xgoogle/tree/253db7ddc8603a9dcb038ae42684cf3499a22a4b

有人知道多个搜索引擎之一吗？

Answer 1

Scrapy是一个非常酷的抓取框架，但是您将需要对其进行代码/配置以使其适合您想要的网站。

Answer 2

编写它们并不难。我通常只使用php。查看curl以检索页面，然后查看dom对象和dom xpath。您可以使用xpath选择所需结果的一部分。

如果安装firebug和firexpath，Xpa​​th非常简单。我现在正在使用位置检查器。相同的想法，但是它根据关键字返回域的位置。

Answer 3

这里所有答案均已弃用，如果需要，请使用标准Google API，您可以在24小时内免费发出1000个请求。

您还能尝试什么：

• 使用要求
• 使用硒
• 使用第三方Google图书馆（所有据我所知已弃用）

但是您最终将被阻止，因此最好使用Google支持的API或任何其他付费的API。

Answer 4

scrapper，您可以抓取bing，google，baida，yahoo.check link