我尝试使用 Selenium
和
BeautifulSoup
抓取 2016 年以来 Facebook 品牌社区页面(如 this)上的所有社区帖子。我想将这些数据用于一个研究项目,并且我打算对数据进行去识别化处理,并随后删除任何可识别的数据。
在抓取 300-500 个帖子后,其余帖子加载速度非常慢,有时甚至无法加载。这可能是因为 Facebook 对个人用户设置了数据速率限制。
我想知道如何克服这个问题。当我达到这样的限制时,我可以等待
x
分钟才能再次继续吗?我可以设置一些参数来避免达到速率限制吗?任何建议都会非常有帮助,谢谢!
我遇到了同样的问题,在进行多次滚动后,提要停止显示,并且在验证网络流量(请求和响应)时,我发现错误是“已达到速率限制”。 最大的问题是 facebook graph api 文档没有显示任何关于用户可以完成的请求限制的条目。
这个问题绝对是来自你的电脑/笔记本电脑的规格,我正在开发一个 Instagram 机器人,它可以滚动名人的关注者以获取他们的用户名,以便稍后与他们互动,但后来我意识到有时它非常慢,有时则不获取用户名,就像大多数时候它每 3 秒获取 1 个用户名,但有时每秒 5 个用户名,然后我发现如果我切换电池电源模式(节电模式、更好的电池、更好的性能、最佳性能),硒会变慢并且更快,我不知道 MacOS 中是否有类似的东西,但如果有类似的东西,请尝试一下,当然你的 PC 或笔记本电脑不会永远持续下去,并且会在某些地方开始变慢。
所以我尝试了付费VPN服务:NordVPN,它解决了这个问题。您可以从多个 VPN 中进行选择,例如 Express 或 Nord 或您认为最合适的 VPN。
详细流程可以参考这个链接:https://stackoverflow.com/a/77028694/10495410。