如何让 puppeteer 等待 Cloudflare 浏览器检查的页面重定向？

Question

我正在抓取一个网站，在提交表单后我被重定向到此 -

Checking your browser before accessing <Website Name>.
This process is automatic. Your browser will redirect to your requested content shortly.

Please allow up to 5 seconds…

DDoS protection by Cloudflare
Ray ID: <Some ID>

现在，通常当我自己从“真正的网络浏览器”手动提交该表单时，在该浏览器检查内容出现后，我几乎立即被重定向到主要内容。但在 puppeteer 中，情况并非如此。

我尝试使用

page.waitForNavigation()

但我无法让它工作。 有什么办法可以真正通过这个检查过程吗？或者傀儡师刚刚被屏蔽了？

提前致谢！

Answer 1

您可以使用 puppeteer-extra，它使您能够添加不同的插件，例如

StealthPlugin

或

AdblockerPlugin

。看看他们的文档。

Answer 2

您可以等待网页上的特定元素。例如标题什么的。

使用

await page.waitForElement(selector);

Answer 3

puppeteer-extra 不适用于打字稿应用程序，有很多错误