为什么 Facebook 帖子抓取变得非常慢或在抓取了几百个帖子后就停止了?

问题描述 投票:0回答:3

我尝试使用 Selenium

BeautifulSoup
抓取 2016 年以来 Facebook 品牌社区页面(如
this
)上的所有社区帖子。我想将这些数据用于一个研究项目,并且我打算对数据进行去识别化处理,并随后删除任何可识别的数据。

在抓取 300-500 个帖子后,其余帖子加载速度非常慢,有时甚至无法加载。这可能是因为 Facebook 对个人用户设置了数据速率限制。

我想知道如何克服这个问题。当我达到这样的限制时,我可以等待

x
分钟才能再次继续吗?我可以设置一些参数来避免达到速率限制吗?任何建议都会非常有帮助,谢谢!

selenium facebook web-scraping beautifulsoup rate-limiting
3个回答
1
投票

我遇到了同样的问题,在进行多次滚动后,提要停止显示,并且在验证网络流量(请求和响应)时,我发现错误是“已达到速率限制”。 最大的问题是 facebook graph api 文档没有显示任何关于用户可以完成的请求限制的条目。


0
投票

这个问题绝对是来自你的电脑/笔记本电脑的规格,我正在开发一个 Instagram 机器人,它可以滚动名人的关注者以获取他们的用户名,以便稍后与他们互动,但后来我意识到有时它非常慢,有时则不获取用户名,就像大多数时候它每 3 秒获取 1 个用户名,但有时每秒 5 个用户名,然后我发现如果我切换电池电源模式(节电模式、更好的电池、更好的性能、最佳性能),硒会变慢并且更快,我不知道 MacOS 中是否有类似的东西,但如果有类似的东西,请尝试一下,当然你的 PC 或笔记本电脑不会永远持续下去,并且会在某些地方开始变慢。


0
投票

所以我尝试了付费VPN服务:NordVPN,它解决了这个问题。您可以从多个 VPN 中进行选择,例如 Express 或 Nord 或您认为最合适的 VPN。

详细流程可以参考这个链接:https://stackoverflow.com/a/77028694/10495410

© www.soinside.com 2019 - 2024. All rights reserved.