如何使用Scrapy选择特定类别

Question

我正在尝试抓取包含特定信息的页面。 网址：https://www.artisans-du-batiment.com/trouver-un-artisan-qualifie/?job=Charpentier&place=35000%2F35900 我想为每个木匠选择一个类，所以我尝试response.css('div.a-artisanTease to-animate')，但它没有提供选择。可能是什么问题？

谢谢。

我尝试了几种不同的路径。 我需要 scrapy 来选择页面上的所有单独的木匠，这样我以后就可以收集所有搜索结果的信息

Answer 1

无法使用Scrapy检索数据的原因是该网页是用JavaScript编写的。在这种情况下，Scrapy 无法为您提供帮助。您需要使用可以处理 JavaScript 的库（例如 Selenium 或 Splash）来从此网页检索数据。

我建议使用 XPath 选择器而不是 CSS 选择器，因为 XPath 提供了许多用于在 DOM 中搜索文本的有用选项。您的代码的等效 XPath 代码是：

//div[@class='a-artisanTease to-animate']