Puppeteer 不断收到 TimeoutError：超过 80000 毫秒的导航超时

Question

我正在尝试抓取传递给 scrape 函数的任何网页，但无论 page.goto() 设置的超时如何，我都会收到超时错误，如果设置为 0，应用程序只会继续等待。

const express = require('express');
const cors = require('cors');
const MYPORT = process.env.PORT || 4001;


const app = express();
const puppeteer = require('puppeteer');

app.use(express.json());
app.use(cors());

const scrape = async (url) => {
    var body;
    try {
        const browser = await puppeteer.launch({
            headless: true,
            args: ['--no-sandbox'],
            timeout: 0
        });
        console.log('Browser launched');
        const page = await browser.newPage();
        console.log('Page opened');
        await page.goto(url, { waitUntil: 'load', timeout: 3 * 60000 });
        await page.waitForSelector('body', {waitUntil: 'load'})
        console.log('Link opened');
        await page.waitForNavigation({waitUntil: 'networkidle2', timeout: 3 * 60000});
        page.$eval('html', bdy => {
            console.log(bdy);
            body = bdy.innerHTML;
        });
        browser.close();
        return body;
    } catch (err) {
        console.log(err);
    }
};

scrape('http://google.com');

请问我做错了什么？

我在 WSL（适用于 Linux 的 Windows 子系统）上使用 Ubuntu 18.04

Answer 1

您的脚本的超时等待部分有点过于复杂。我建议进行以下更改：

如果您不确定导致超时的原因，您应该设置
```
headless: false
```
，以便您可以在 UI 上看到出了什么问题，您可以打开浏览器控制台等。
不要设置超时，直到脚本使用
```
waitForSelector
```
-s 执行您想要的操作。我从你的脚本中删除了它们。
如果您对每个网络事件不感兴趣（尤其是对分析和跟踪请求），但您只需要 DOM，那么使用
```
waitUntil: 'domcontentloaded'
```
而不是
```
load
```
或最严格的
```
networkidle2
```
！在文档中查看它们之间的确切区别：[链接]
在等待选择器之后不要
```
waitForNavigation
```
。这是你的脚本失败的主要原因：一旦
```
<body>
```
出现在 DOM 中，你要求 puppeteer 等待导航完成，但此时你没有导航：你已经在页面上了。请记住：

page.waitForNavigation
当页面导航到新 URL 或重新加载时进行解析。当您运行将间接导致页面导航的代码时，它非常有用。 [来源]

您的
```
page.$eval
```
缺乏异步性质，而它应该始终是异步的。无论如何，可以使用以下命令更简单地检索
```
innerHTML
```
的
```
<body>
```
：
```
await page.evaluate(el => el.innerHTML, await page.$('body'))
```
。

const scrape = async url => {
  try {
    const browser = await puppeteer.launch({
      headless: false,
      args: ['--no-sandbox']
    })
    console.log('Browser launched')
    const page = await browser.newPage()
    console.log('Page opened')
    await page.goto(url, { waitUntil: 'domcontentloaded' })
    await page.waitForSelector('body')
    console.log('Link opened')
    const body = await page.evaluate(el => el.innerHTML, await page.$('body'))
    console.log(body)
    browser.close()
    return body
  } catch (err) {
    console.log(err)
  }
}

Answer 2

我在 Circleci 上遇到此错误，因为我没有在 puppeteer args 上设置 代理设置。

因此测试网址无法访问。

这是我的解决方案。

const browser = await puppeteer.launch({         
  args: ['--proxy-server=http://your-proxy-url:port'], 
});

Answer 3

当 wi-fi 速度由于网络原因下降得很低时，我收到错误。

Puppeteer 不断收到 TimeoutError：超过 80000 毫秒的导航超时

问题描述投票：0回答：3

3个回答

最新问题

Puppeteer 不断收到 TimeoutError：超过 80000 毫秒的导航超时

问题描述 投票：0回答：3

3个回答

最新问题

问题描述投票：0回答：3