清漆缓存爬虫请求?

问题描述 投票:0回答:1

我对Varnish有疑问。我知道Varnish会在用户第一次访问网页时缓存一个网页,它会将缓存提供给稍后访问该页面的下一个用户。

我的问题是,当像GoogleBot这样的网络抓取工具来抓取该网页时,varnish还会缓存一个网页吗?

varnish varnish-vcl
1个回答
1
投票

是。除非另有配置,否则Varnish会将bot请求视为与任何其他请求相同。

这可能很有用,因为Googlebot可以为真实用户加热缓存。这也意味着Googlebot可以快速获得服务器响应时间,这对您的网站非常有益。

© www.soinside.com 2019 - 2024. All rights reserved.