我正在努力学习如何使用python进行scrapy;我不熟悉CSS
我试图废弃的网站:https://fantasydata.com/nfl-stats/point-spreads-and-odds?season=2018&seasontype=1&week=17
所以当我复制日期的选择器时,结果如下:
当我通过执行以下操作来调出scrappy模块时:python shell“url”
并输入response.css('selector here')
我没有结果!
我如何检索日期信息?
感谢您阅读此邮件!
所以这里的问题是当scrappy收到页面响应时,你试图抓取的数据不可用。
如果您在页面加载时打开浏览器的开发人员控制台,请在网络选项卡上查看此URL的XHR请求:
https://fantasydata.com/NFLTeamStats/Odds_Read
如果您查看其有效负载,您将看到它包含您要抓取的数据。换句话说,它是在初始页面加载后通过HTTP提取从网站的应用程序加载的。
因此,当您使用webscaper(如垃圾)时,您将无法看到这种数据。你真的只得到初始页面模板,之后由javascript加载的任何东西都不可用。
如果您正在寻找一般的NFL和幻想相关的统计数据,那么有一个名为FFDB的应用程序,允许您使用其引擎轻松创建数据库:
免责声明:我是该应用程序的作者。
最后要注意,请注意css
标记与此问题无关。 scraping
或webscrape
标签更合适。
祝你好运!