-无头选项不适用于某些链接,我不知道为什么通过处理其他链接我需要在没有实例的情况下在AWS实例上运行此爬网程序。链接= https://shop.nordstrom.com/s/pj-salvage-animal-lover-pajama-top-plus-size/5405170/full?origin=category-personalizedsort&breadcrumb=Home%2FWomen%2FClothing&color=charcoal
使用无头选项
#for head less approch
options = Options()
options.binary_location = "/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome"
options = Options()
options.add_argument("start-maximized")
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument("--hide-scrollbars")
options.add_argument("disable-infobars")
options.add_argument('--disable-dev-shm-usage')
options.add_argument("window-size=1920,1080")
prefs = {
"translate_whitelists": {"fr": "en", "de": "en", 'it': 'en', 'no': 'en', 'es': 'en', 'sv': 'en', 'nl': 'en',
'da': 'en', 'pl': 'en', 'fi': 'en', 'cs': 'en'},
"translate": {"enabled": "true"}
}
options.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(options=options)
#################################################################################
driver = webdriver.Chrome(options=options)
作为chromedriver的最新版本(ChromeDriver 79.0.3945.16修复了无头模式下不可单击的问题元素。
下载最新版本的chromedriver。希望您的问题得到解决。
这里是变更日志
由命令执行过程中触发的JavaScript警报导致的ChromeDriver修复崩溃
修复了导致在触发警报时Chromedriver锁定的错误截屏]]
从Chrome启动命令中删除了--ignore-certificate-errors在Win10上将platform和platformName更改为Windows
修复了“启用自动化”时未定义的window.navigator.webdriver被排除
固定的WPT测试“ test_not_editable_inputs [隐藏]”
使用无头模式时已修复“元素不可点击”
Chromedriver更新日志和下载链接
编辑
对于aws,您需要执行以下步骤首先,您需要使用以下步骤安装chrome
sudo curl -sS -o - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add sudo echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list sudo apt-get -y update sudo apt-get -y install google-chrome-stable
然后下载chromedriver
wget https://chromedriver.storage.googleapis.com/index.html?path=79.0.3945.16/ unzip chromedriver_linux64.zip
现在添加权限并移动二进制文件
sudo mv chromedriver /usr/bin/chromedriver sudo chown root:root /usr/bin/chromedriver sudo chmod +x /usr/bin/chromedriver
用于打开铬,更改二进制路径
options.binary_location
并添加参数options.add_argument('--headless')
注意:不要忘记安装Java
经过大量搜索,我注意到那些首先发送JS代码的网站在打开无头参数时遇到了问题,因此我想出了使用virtualDisplay的解决方案。