使用 Selenium/Requests 进行网页抓取并通过 CloudFare - Python

问题描述 投票:0回答:1

我正在尝试抓取一个使用 Cloudflare DNS 和 CDN/代理的网站。我尝试过 Tor、Selenium_stealth 和 UnDetected_Chrome,但都已被检测到。有没有办法使用 selenium 绕过 CLoudfare?

此外,我发现了一个 API,允许我使用 BS4 和请求获取首页 HTML,但我不熟悉这些模块。该请求返回网站的首页,其中仅包含一个“同意”按钮,需要单击该按钮才能显示所有页面信息。有没有办法单击此按钮并可能使用 bs4 和 Requests 浏览网站?谢谢!

我尝试访问的网站: https://0day.today/

selenium-webdriver web-scraping beautifulsoup selenium-chromedriver
1个回答
0
投票

这种情况,建议您使用第三方解锁服务

© www.soinside.com 2019 - 2024. All rights reserved.