几个星期前我正在抓取这个网站,但有些代码不再适用。
此代码按预期返回所有内容:
from bs4 import BeautifulSoup
import requests
url = 'https://www.sportsbookreview.com/betting-odds/nfl-football/consensus/'
res = requests.get(url)
soup = BeautifulSoup(res.content, "lxml")
soup.find_all('div', {'class': 'hUMQK _3JPYB'})
但是,当在下面的代码上执行查找时,它现在返回一个空列表并且它曾经工作。在网页HTML中似乎没有任何变化
soup.find_all('div', {'class': '_3h0tU'})
因为我不知道网站是否改变了填充方式,但如果允许加载页面的时间有效。使用硒检索就好了。似乎内容是JS加载的。
from selenium import webdriver
URL = "https://www.sportsbookreview.com/betting-odds/nfl-football/consensus/"
d = WebDriver.Chrome()
d.get(URL)
for item in d.find_elements_by_css_selector("._3h0tU"):
Print(item.Text)
d.quit()