我是一个初学者,正在学习如何进行网络抓取,并且在尝试网络抓取实时网站时遇到困难。我不断收到错误消息“错误!:请求失败,状态代码为 403”,我尝试通过更改用户代理来解决此问题,但它仍然不起作用。
我已经尝试使用这个网站(https://blog.apify.com/web-scraping-how-to-solve-403-errors/)寻求帮助,但仍然不起作用。
我在 Windows 10 上使用谷歌浏览器。
关于如何解决这个问题的任何想法?
const axios = require('axios')
const cheerio = require('cheerio')
const userAgentsList = [
'Mozilla/5.0 (X11; Linux x86_64; rv:107.0) Gecko/20100101 Firefox/107.0',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
];
axios.get('https://www.thewhiskyexchange.com/search?q=cider',
{ headers: {'User-Agent': userAgentsList[Math.floor(Math.random() * 3)]}})
.then(function(response) {
...
})
.catch(function(error) {
...
})