web-scraping 相关问题

我正在尝试通过 selenium chrome Web 驱动程序从 Amazon PDP https://www.amazon.co.uk/SheaMoisture-Treatment-silicone-sulfate-transitioning/dp/B01HOD3ZVQ/ 中提取价格。尝试过： X路径 CSS 选择器...

python selenium-webdriver web-scraping

回答 1 投票 0

如何从 wiki 页面抓取和存储多个表？

我正在尝试从幸存者维基页面上的三个特定表中提取数据。主要是常量表、赛季总结表和投票历史表。我可以让它为参赛者很好地工作......

python dataframe web-scraping

回答 1 投票 0

使用 Selenium 抓取网页

我想使用 Selenium 抓取网页，我无法绕过 cloudflare 机器人检查。以前我使用下面的代码从这里获取数据表。由于云耀斑机器人，下面的代码失败了......

python-3.x selenium-webdriver web-scraping selenium-chromedriver

回答 1 投票 0

使用 python playwright 获取 href 链接

我正在尝试提取 href 内的链接，但我发现它只是元素内的文本网站代码如下：我正在尝试提取 href 内的链接，但我发现它只是元素内的文本网站代码如下： <div class="item-info-container "> <a href="/imovel/32600863/" role="heading" aria-level="2" class="item-link xh-highlight" title="Apartamento T3 na avenida da Liberdade, São José de São Lázaro e São João do Souto, Braga"> Apartamento T3 na avenida da Liberdade, São José de São Lázaro e São João do Souto, Braga </a> 我使用的代码是： element_handle = page.locator('//div[@class="item-info-container "]//a').all_inner_texts() 无论我是否指定//a[@href]，我的输出始终是标题文本： Apartamento T3 na avenida da Liberdade, São José de São Lázaro e São João do Souto, Braga 当我真正想要实现的是： /imovel/32600863/ 我的逻辑在哪里失败了，有什么想法吗？使用get_attribute： link = page.locator('.item-info-container ').get_by_role('link').get_attribute('href') 多个定位器： link_locators = page.locator('.item-info-container ').get_by_role('link').all() for _ in link_locators: print(_.get_attribute('href')) 只需省略 // 并使用以下 XPath-1.0 表达式： //div[@class="item-info-container "]/a/@href 这将为您提供 @href 属性的值：“/imovel/32600863/”。整个命令可能是 element_handle = page.locator('//div[@class="item-info-container "]/a/@href').all_inner_texts() 但是表达式的结果不是元素，而是属性，所以这可能会失败。设法通过查找所有元素，然后在处理所有元素后获取属性来做到这一点。 handleLinks = page.locator('//div[@class="item-info-container "]/a') for links in handleLinks.element_handles(): linkF = links.get_attribute('href') print(linkF) 结果将是： /imovel/32611494/ /imovel/32642523/ /imovel/32633771/ /imovel/32527162/ /imovel/30344934/ /imovel/31221488/ /imovel/32477875/ /imovel/31221480/ /imovel/32450120/ /imovel/32515628/ /imovel/32299064/

python web-scraping xpath playwright playwright-python

回答 3 投票 0

Symfony/panther web 抓取不适用于登录后的内容（云功能）

使用 \Symfony\Component\Panther\Client; 需要 __DIR__ 。 '/vendor/autoload.php'; $选项= [ '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 如 Gecko) Chr...

php web-scraping selenium-chromedriver webchromeclient symfony-panther

回答 1 投票 0

用于工作站点的 Selenium Webscraper 在进度的特定点中断。该怎么办？问题出在哪里？

我构建了这个网络爬虫来监控足球俱乐部的工作职位。我几个月前写的，直到一周前才有效。现在，它有多个问题。无论哪种方式。我尝试修复它，改变了

selenium-webdriver web-scraping

回答 1 投票 0

Symfony HttpClient 和简单 HTML DOM？

我使用 Symfony\Component\HttpClient\HttpClient 来检索页面内容，因为我使用代理。 // 自定义客户端 $this->httpClient = HttpClient::create( [ '亲...

php symfony web-scraping

回答 1 投票 0

使用请求抓取亚马逊时出现问题：即使使用 cookie 和 headers，我也会被阻止。我只能用浏览器抓取。有什么解决办法吗？

当我尝试抓取亚马逊时，请求模块不再为我工作，我尝试过使用cookie、标头、更改IP，但除了通过浏览器抓取之外，没有什么真正有效的。是否...