我如何抓取通过Cloudflare保护的网页?

问题描述 投票:0回答:1

我一直在尝试使用Python抓取此网页:https://bitskins.com/price/?market_hash_name=AK-47%20%7C%20Asiimov%20%28Factory%20New%29

这里是代码:

import urllib.request

url = "https://bitskins.com/price/?market_hash_name=AK-47%20%7C%20Asiimov%20%28Factory%20New%29"


page=urllib.request.Request(url,headers={'User-Agent': 'Firefox/2.0.0.11'}) #open webpage as browser rather than urllib
readpage=urllib.request.urlopen(page).read()
pagestring = infile.decode('ISO-8859-1') #decode to string

print(pagestring)

不幸的是,我在使用Cloudflare刮刮网页时遇到问题,该网页用作反DDOS系统。我想知道如何绕过或遵守它,例如允许验证请求。希望你们能帮我解决这个问题。

P.S我根本没有尝试过DDOS该网页,我正在尝试获取有关cs:go skins价格的网页数据。

python
1个回答
-1
投票

您应该为此使用网络驱动程序,我建议使用Selenium。这是一个浏览器自动化软件包。

注意:Web抓取可能违反该网站的政策,您可能需要先检查一下,然后再继续。

© www.soinside.com 2019 - 2024. All rights reserved.