谷歌搜索网页搜刮类=与浏览器上的不一样。

Question

我试图在谷歌结果中抓取视频面板，例如我搜索---> "great+castles" <---在该搜索结果中，它有一个包含视频的面板，当我刮开它时，我得到HTML，但不同的属性值，我无法抓取视频面板。

text="great+castles"
url = f'https://google.com/search?q={text}'
response = requests.get(url)


print(url)

soup = BeautifulSoup(response.text,'html.parser')

a=soup.findAll('div',{'id':'main'})
a

我确实得到了输出响应，但属性与google chrome上的不一样。

Answer 1

首先，你可以随时在HTML文件中写下HTML响应，并通过在浏览器中打开检查实际上你得到了什么。

其次，你不能轻易地从google上搜刮数据，你需要代理，但即使是精英代理，你也可能会面临一些挑战，如重新获取验证码等。