我正在尝试使用Python 3从网站下载文件。
直接解析URL不起作用,因为URL每次都会转发到登录页面,您需要使用Google登录按钮进行登录,该按钮会转发给Google。
有没有办法使用Python脚本登录和下载文件?也许以某种方式实施cookie?
提前致谢。
您可以使用selenium,它可以自动为您填写登录表单。
是的,你可以做到这一点。请遵循以下逻辑,并更改变量以满足您的特定需求。
from bs4 import BeautifulSoup
from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.accept_untrusted_certs = True
import time
wd = webdriver.Firefox(executable_path="C:/your_path_here/geckodriver.exe", firefox_profile=profile)
url = "https://the_url"
wd.get(url)
# set username
time.sleep(5)
username = wd.find_element_by_id("id_email")
username.send_keys("[email protected]")
#wd.find_element_by_id("identifierNext").click()
# set password
#time.sleep(2)
password = wd.find_element_by_id("id_password")
password.send_keys("my_password")
elements = wd.find_elements_by_class_name("btn-primary")
for e in elements:
e.click()
### your web scraping code goes here.