Axios Cheerio 请求失败,状态码为 403

问题描述 投票:0回答:0

我是一个初学者,正在学习如何进行网络抓取,并且在尝试网络抓取实时网站时遇到困难。我不断收到错误消息“错误!:请求失败,状态代码为 403”,我尝试通过更改用户代理来解决此问题,但它仍然不起作用。

我已经尝试使用这个网站(https://blog.apify.com/web-scraping-how-to-solve-403-errors/)寻求帮助,但仍然不起作用。

我在 Windows 10 上使用谷歌浏览器。

关于如何解决这个问题的任何想法?

const axios = require('axios')
const cheerio = require('cheerio')

const userAgentsList = [
    'Mozilla/5.0 (X11; Linux x86_64; rv:107.0) Gecko/20100101 Firefox/107.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
 ];

axios.get('https://www.thewhiskyexchange.com/search?q=cider', 
{ headers: {'User-Agent': userAgentsList[Math.floor(Math.random() * 3)]}})
    .then(function(response) {
        ...
    })
    .catch(function(error) {
        ...
    })


javascript jquery web-scraping axios cheerio
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.