我正在使用request和cheerio解析nodejs中的某些网页。我们每天执行此操作超过20次,因此我们浪费了很多带宽来加载图像和css内容,这些内容对于解析没有用。
我使用了一些类似这样的代码:
request(url, function (error, response, html) {
if (!error && response.statusCode == 200) {
var $ = cheerio.load(html);
$('.n-item').each(function(i, element){
//do something
});
}
});
1-我想知道request加载图像/内容并可能丢失服务器带宽是正确的吗?
2-向我展示防止加载图像/内容的解决方案
感谢
请求本身不会解析HTML代码或运行Javascript。它将仅下载源或您输入的URL。如果是普通网站,则按字面意义返回HTML源。
唯一可以通过“请求”提取图像的情况是,如果您使用直接链接到图像的URL。例如http://example.com/image.jpg