使用 scrapy (python) 抓取内容时出现空响应

Question

我正在尝试使用 scrapy 及其

Selector.css

废弃一个网站（'ellenmacarthurfoundation'），特别是这个页面：

这是网站

我正在尝试获取此网络中的所有参考文献 ()，但我无法获取不同的元素。

我使用的代码是：

>>> links = response.css('.section-container li.ais-InfiniteHits-item a::attr(href)').getall()
>>> links 
[]

我不知道为什么我收到的是空答案。如果有人可以帮助我使用我应该使用的字符串来获取所有链接，那就太好了。

谢谢大家！

Answer 1

本网站上的文章是动态加载的。您无法以通常的方式抓取此内容。您有 selenium 选项，但我建议您在 Inspect > Network > xhr 中发送此内容的查找源 api: