Python Selenium 自动重定向问题

Question

我在抓取时遇到问题 https://www.mca.gov.in/content/mca/global/en/home.html.

每当我尝试在selenium或未检测到的chromedriver中打开它时，它会自动重定向到其主页，而如果我使用普通浏览器打开它则没有问题。

我尝试了多种解决方案，例如禁用锚标记，但没有任何效果。我只想留在网站上，我已经找到了解决验证码的方法。

这是我一直在运行和测试多种方式的代码：

import undetected_chromedriver as uc
import time

driver = uc.Chrome()

driver.get("https://www.mca.gov.in/content/mca/global/en/mca/master-data/MDS.html")

time.sleep(10)

driver.quit()

Answer 1

很难确切地说出发生了什么，但有一些一般性提示：

• 您是否在无头模式下运行 Chrome 驱动器？有些网站能够检测到这一点。例如，如果您使用无头浏览器访问此网站，您将看到它检测到浏览器为无头浏览器。 因此，解决方案可能是使用智能浏览器抓取网站

• 您还可以尝试使用网络抓取 API 来为您完成所有繁重的工作。但这些都不是免费的。