无法使用python解析网页

Question

我正在尝试在网页下面解析以获得现在在交易所中一直处于高点或低点的股票名称。

https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#

但是，当我使用美丽的汤下载网页并检查数据时，我找不到网页中提到的股票名称或价格。我希望写一个函数来下载每天创下历史新高的股票请帮助我缺少什么？

Answer 1

页面上的部分HTML是由JavaScript动态生成的。您最有可能使用requests库，它无法处理以这种方式生成的HTML。

相反，您可以使用Selenium库，它允许您启动由Python控制的Web浏览器的实例，并从那里获取页面源。

from selenium import webdriver

path = '...' # path to driver here
url = 'https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#'

driver = webdriver.Chrome(path)
page_source = driver.get(url).page_source

通过使用page_source解析BeautifulSoup，您可以得到您想要的。