将HTML表从受密码保护的页面保存到外部HTML文件中

Question

我需要从受密码保护的页面中提取整个html表并将其保存到外部html文件。

<table id="tblControlorStatus" class="dataTable" aria-describedby="" style="">

driver=webdriver.Firefox()
driver.get("http://MYURL")

assert "Page title" in driver.title 

username = driver.find_element_by_id("ctl00_ContentPlaceHolder1_Login1_UserName")
username.clear()
username.send_keys("MYUSER")

password = driver.find_element_by_name("ctl00$ContentPlaceHolder1$Login1$Password")
password.clear()
password.send_keys("MYPASS")

driver.find_element_by_name("ctl00$ContentPlaceHolder1$Login1$LoginButton").click()

driver.find_element_by_link_text("MYLINKTEXT").click()

html=driver.page_source
soup=BeautifulSoup(html,'lxml')
div=soup.select_one("table#tblControlorStatus")
table=pd.read_html(str(div), header = 0)
print(table[0])

这仅将表中的值打印到终端

Answer 1

代替此：

table=pd.read_html(str(div), header = 0)
print(table[0])

带有类似这样的内容

html_content = str(div)
html_file = open("output.html", "w")
html_file.write(html_content)
html_file.close()

那应该将您的表写入外部文件。