抓取javascript生成的网页

问题描述 投票:0回答:2

将javascript内容转换为HTML以将其用于脚本时,我遇到了问题。我使用了多种方法作为phantomjs或python QT库,它们都很好地获得了大部分内容,但问题是页面内部有javascript按钮,如下所示:

Pls see screenshot here

现在,当我从脚本加载此页面时,这些按钮将不会默认为任何值,因此下面的所有SELL / NEUTRAL / BUY值都返回0。从脚本加载页面时有没有办法设置这些值?

包含所有值的示例页面是:https://www.tradingview.com/symbols/NEBLBTC/technicals/

任何帮助将不胜感激。

python web-scraping scrapy web-crawler screen-scraping
2个回答
0
投票

如果你试图通过scrapy或cURLurrlib的衍生来实现这一点,我担心你不能这样做。 Python有另外一个外部包,如selenium,允许你与页面的javascript交互,但selenium的问题太慢,如果你想要类似于scrapy的东西,你可以检查网站的工作原理(因为我可以看到它的工作原理) ajax或websockets)并通过urllib获取您想要的信息,就像使用API​​一样。

如果您理解我或我误解了您的问题,请告诉我


0
投票

我使用的seleneum非常适合这项工作,它确实很慢,但符合我的目的。我还使用了seleneum firefox插件来生成python脚本,因为找到与我必须按下的按钮完全一致的代码非常具有挑战性。

© www.soinside.com 2019 - 2024. All rights reserved.