Google搜索结果限制

Question

我试图在谷歌搜索引擎中搜索“sunday”这个词。

结果总数是1.390.000.000。但是我只能看到前420个结果，直到42页的结果。

有没有办法取得谷歌搜索的所有结果？

Answer 1

您可以使用google模块来控制查询结果的数量。

使用pip安装它：

pip install google

用法：

from google import search

n = 10  # number of results
query = 'sunday'
results = google.search(query, stop=n)  # returns a generator

for result in results:
    print(result)

在使用此方法之前，请记住pause参数：

pause（float） - 在HTTP请求之间等待的时间间隔。如果时间过长会导致搜索速度变慢，但过长的时间可能会导致Google阻止您的IP。你的旅费可能会改变！

Docs

Answer 2

谷歌和其他搜索引擎的这一“功能”也适用于网络界面。在第一页上声明的匹配数量不会反映在返回的实际结果数中。

例如，如果你search Google for "Systematic Literature Review"它将在第一页上声明几百万个结果，但如果你转到第3页（100个结果/页），它将“修改”估计到200-300个结果。

这在初始估计中似乎太高，但可能是过滤大型数据集的问题，并且可能是可以原谅的。但是，对于该主题，返回的实际结果肯定太小了。 Bing和DuckDuckGo是相似的。谷歌学术搜索声称11k左右的结果但如果你尝试超过1000则会返回服务器错误。

推测：这可能是为了鼓励人们改变他们的搜索条件，而不是返回大量的结果，然后在本地以编程方式进行过滤（这就是我想要做的！）。

这不是我害怕得到更多结果的答案，但它解释的问题不是图书馆，而是搜索引擎。