python scrapy足球数据

问题描述 投票:1回答:1

我正在努力学习如何使用python进行scrapy;我不熟悉CSS

我试图废弃的网站:https://fantasydata.com/nfl-stats/point-spreads-and-odds?season=2018&seasontype=1&week=17

所以当我复制日期的选择器时,结果如下:

stats_grid > div.k-grid-content.k-auto-scrollable > table > tbody > tr:nth-child(1) > td:nth-child(1) > span

当我通过执行以下操作来调出scrappy模块时:python shell“url”

并输入response.css('selector here')

我没有结果!

我如何检索日期信息?

感谢您阅读此邮件!

python css
1个回答
0
投票

所以这里的问题是当scrappy收到页面响应时,你试图抓取的数据不可用。

如果您在页面加载时打开浏览器的开发人员控制台,请在网络选项卡上查看此URL的XHR请求:

https://fantasydata.com/NFLTeamStats/Odds_Read

如果您查看其有效负载,您将看到它包含您要抓取的数据。换句话说,它是在初始页面加载后通过HTTP提取从网站的应用程序加载的。

因此,当您使用webscaper(如垃圾)时,您将无法看到这种数据。你真的只得到初始页面模板,之后由javascript加载的任何东西都不可用。

如果您正在寻找一般的NFL和幻想相关的统计数据,那么有一个名为FFDB的应用程序,允许您使用其引擎轻松创建数据库:

FFDB Github Repository

免责声明:我是该应用程序的作者。

最后要注意,请注意css标记与此问题无关。 scrapingwebscrape标签更合适。

祝你好运!

© www.soinside.com 2019 - 2024. All rights reserved.