我是用硒解析的新手。 我有一个任务“你应该获取 10 条 Elon Musk 的最后 10 条推文,并在终端中显示它的文本”。 我尝试这样做:
import os
from selenium.webdriver.common.by import By
from selenium_stealth import stealth
from seleniumwire import webdriver
from dotenv import load_dotenv
load_dotenv()
LOGIN = os.getenv('LOGIN')
PASSWORD = os.getenv('PASSWORD')
IP_ADRESS = os.getenv('FR_IP_ADRESS')
PORT = os.getenv('FR_PORT')
options = webdriver.ChromeOptions()
options.add_argument("start-maximized")
options.add_argument('--ignore-certificate-errors')
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
proxy_options = {
'proxy': {
'http': f'http://{LOGIN}:{PASSWORD}@{IP_ADRESS}:{PORT}'
}
}
try:
link = 'https://twitter.com/elonmusk'
browser = webdriver.Chrome(
options=options,
seleniumwire_options=proxy_options
)
stealth(
browser,
languages=["en-US", "en"],
vendor="Google Inc.",
platform="Win32",
webgl_vendor="Intel Inc.",
renderer="Intel Iris OpenGL Engine",
fix_hairline=True,
)
browser.get(link)
browser.implicitly_wait(20)
target = browser.find_elements(
By.CSS_SELECTOR, '[data-testid="tweet"]'
)
browser.execute_script("window.scrollTo(0, document.body.scrollHeight)")
twits = browser.find_elements(
By.CSS_SELECTOR, '[data-testid="tweet"] [data-testid="tweetText"]'
)
for twit in twits[::10]:
print(twit.text)
finally:
time.sleep(20)
browser.quit()
第一个问题是滚动
browser.execute_script("window.scrollTo(0, document.body.scrollHeight)")
不起作用,但是当我在第一个版本的代码中使用它时,它工作正常。
第二个问题是我的 twitts 收集器没有收集任何东西,或者每次都会收集不同的值。
我尝试使用不同的滚动方法,但它们要么有效,要么无效。 twtits 收集器中也有类似的情况。
我认为这个问题可能与 Twitter 的工作方法有关,但我不能确定,因为我在解析方面没有足够的经验。
我希望你能帮助我。
先谢谢你了
selenium 查找元素不起作用,因此我们可以将 HTML 内容传递给 BeautifulSoup 来提取推文文本。
这是获取前 10 条推文文本的完整脚本
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
options = Options()
#options.add_argument("user-data-dir=C:\\Users\\yourusername\\AppData\\Local\\Google\\Chrome Beta\\User Data")
options.add_argument("profile-directory=Default")
driver_service = Service(ChromeDriverManager().install())
driver = webdriver.Chrome(service=driver_service, options=options)
try:
link = 'https://twitter.com/elonmusk'
driver.get(link)
tweet_text_elements = []
# Scroll 5 times to load more tweets
for _ in range(5):
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
time.sleep(2)
html_content = driver.page_source
soup = BeautifulSoup(html_content, 'html.parser')
# Find all elements with 'tweetText'
tweet_text_elements.extend(soup.find_all('div', {'data-testid': 'tweetText'}))
# first 10 tweet
for i, tweet_text_element in enumerate(tweet_text_elements[:10]):
tweet_text = tweet_text_element.text.strip().replace("\n", "")
print(f"Tweet {i+1}: {tweet_text}")
finally:
driver. Quit()