无法抓取课程

Question

我目前正在尝试使用python制作网络抓取工具。我的目标是让我的网络刮板找到股票的名称和价格。这是我的代码：

import requests 
from bs4 import BeautifulSoup

page = requests.get('https://finance.yahoo.com/quote/MA?p=MA&.tsrc=fin-srch')
soup = BeautifulSoup(page.content, "html.parser")
stock_name = soup.find({ "class" : "D(ib) Fz(18px)"})
print(stock_name)

但是当我运行它时，我得到了：

C:\Users\baribal\Desktop>py web_scraper.py
None

谢谢你！

Answer 1

您的请求只为您提供了网页的原始HTML。您要检索的元素是加载HTML源文本后在浏览器中呈现的React组件。

您需要使用像Selenium这样的无头浏览器。