仅通过单击网页中的按钮即可显示隐藏DIV的网页抓取

Question

我需要从网站上抓取数据，在您单击网站上的按钮之前，不会显示隐藏的div。当我使用代码获取html内容时，即使我可以在“检查”中看到隐藏的div数据，也无法获取隐藏的div内容

URL，代码和隐藏的DIV的详细信息如下：

import requests
import bs4

url = 'https://so.gushiwen.org/guwen/bookv_3694.aspx'
doc=requests.get(url)
print(bs4.BeautifulSoup(doc.text, "html.parser"))

我需要从网站上抓取数据，在您单击网站上的按钮之前，不会显示隐藏的div。当我使用代码获取html内容时，即使可以，也无法获取隐藏的div内容...

Answer 1

您可以使用selenium通过ID找到所需的div并使用soup.send_keys('\n')：