网站是否有可能在刮痧时将部分从美丽的汤中隐藏起来？

Question

我试图用python包美丽的汤刮一个网站时遇到了一个问题。不知何故，我得到的一切都来自它我感兴趣的部分。我正试图从这个网站https://www.bitfinex.com/刮掉实时数据。

我真的让所有部分都对实时数据有所了解，我认为它以某种方式连接到与数据相同的容器内的脚本块。 Firefox和Chrome可以检查这部分容易但美丽的汤不知何故得不到它。

我很感激每一个建议！

Answer 1

要回答您的问题，是的，网站可能会阻止或删除任何它怀疑是机器人或其认为合适的任何类型连接的内容。如果您尚未设置用户代理，请尝试使用该代理。如果不知道你已经尝试过什么，就很难就如何进行提供建议。

Answer 2

你为什么不使用API？

许多网站都会检测并阻止正在抓取数据的蜘蛛。此外，每次更新UI时，您的刮刀都会中断。

在页面加载后，BitFinex上的实时数据可能由Javascript over AJAX填充。