我正在制作一个简单的抓取程序。
[首先,用户将输入足球运动员的姓名,然后我将链接到“ transfermarkt.com”网络搜索,然后我要输入第一个链接并从足球运动员的个人资料中删除数据。不幸的是,我对硒有疑问。如何以编程方式进入网站并从该网站抓取数据?
这是我的代码:
from urllib.request import urlopen
import bs4
from bs4 import BeautifulSoup
from selenium import webdriver
data = input('Enter name: ')
data = data.replace(" ", "+")
print(data)
link = 'https://www.transfermarkt.pl/schnellsuche/ergebnis/schnellsuche?query='
search = link + data + '&x=0&y=0'
print(search)
driver = webdriver.Chrome("/usr/lib/chromium-browser/chromedriver")
driver.find_element_by_css_selector('.spielprofil_tooltip tooltipstered').click()
name_box = soup.find('h1', attrs={'class': 'dataValue'})
print(name_box)
它仅适用于行print(search)
,但后来我迷路了。浏览器已打开,但地址栏中只有data:,
。
您只需要用于无头浏览器:
from selenium import webdriver
#####
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
driver = webdriver.Chrome("/usr/lib/chromium-browser/chromedriver", options=options)
但是正如我所说,您不需要在这里使用硒。当您无法使用请求或只想快速编写代码时,请使用硒。
浏览器已打开,但是在其中只有data :,地址栏。
因为您没有在浏览器中获得该网址:
browser.get(source)
似乎您很近。它仅对print(search)
行有效,因为尽管您将所需的URL构造为search
,但尚未调用传递该URL的get()
。因此,您需要按如下所示传递网址:
代码块:
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
data = input('Enter name: ')
data = data.replace(" ", "+")
print(data)
link = 'https://www.transfermarkt.pl/schnellsuche/ergebnis/schnellsuche?query='
search = link + data + '&x=0&y=0'
print(search)
driver = webdriver.Chrome(options=options, executable_path=r'C:\WebDrivers\chromedriver.exe')
driver.get(search)
控制台输出:
Enter name: Kylian Mbappé
Kylian+Mbappé
https://www.transfermarkt.pl/schnellsuche/ergebnis/schnellsuche?query=Kylian+Mbappé&x=0&y=0
现在在地址栏中看到文本data:,的背后可能有多种原因。错误堆栈跟踪将有助于我们以更好的方式调试问题。但是,在大多数情况下,此错误是由于以下两个问题之一引起的:
您可以在以下位置找到详细的讨论: