如何在Python中使用硒复制所有网站？

Question

我使用了webdriver，因为我需要在身份验证后复制网站。

from selenium import webdriver
import myconnutils
import re
from time import sleep

connection = myconnutils.getConnection()

#use Chrome
driver = webdriver.Chrome("/Users/User/Documents/sender/chromedriver")

#enter to site
driver.get("https://example.com/en/account")
driver.find_element_by_id("user").send_keys("userlogin")
driver.find_element_by_id("password").send_keys("passwordinput")
driver.find_element_by_id("submit").click()

接下来是什么？如何使用css，js，images复制所有页面？

Answer 1

最终尝试将硒与BeautifulSoup一起使用。您应该能够像这样获得源代码：

example_soup = BeautifulSoup(driver.page_source, 'html.parser')

最终this blog post也有帮助。