我想抓这个网站https://hdyc.neis-one.org/有两页登录验证

Question

库（'XML'）库（'rvest'）

登录< - “https://www.openstreetmap.org/login?cookie_test=true&referer=%2Foauth%2Fauthorize%3Foauth_callback%3Dhttps%253A%252F%252Fhdyc.neis-one.org%252Fland.html%26oauth_token%3DDfkqaWSgSDkhReTb75sOaq22QO6f6txdxFk4qJR7”

pgsession <-html_session（登录）

pgform < - html_form（pgsession）[[1]]

filled_form <-set_values（pgform，username =“********”，password =“**********”）submit_form（pgsession，filled_form）

html_object < - read_html（“https://hdyc.neis-one.org/？**********”）

Answer 1

尝试将您的selenium代码停靠，以便它可以在任何地方运行。以下是一些可能会有所帮助的事情。

1. 像this one一样创建一个Dockerfile。
2. 初始化驱动程序时添加以下代码行。

   chrome_options = webdriver.ChromeOptions()
   chrome_options.add_argument('--no-sandbox')
   chrome_options.add_argument('--headless')
   chrome_options.add_argument('--disable-gpu')
   driver = webdriver.Chrome(chrome_options=chrome_options)