当抓取一个全新的 URL 时,googlebot 爬虫总是会在第一次测试时抓取最新版本的页面,
在测试新 URL 的第一个实例之后,即使使用“实时 URL 测试”选项,它也会继续加载相同的缓存副本.
通过查看 HTML,我已经确认自最初抓取这些页面以来网站元素的所有更改,not 都反映在 GSC 上。
然而,普通用户会立即收到页面的更新版本。
例如通过GSC爬取这个URL时:
https://app.aventure.vc/research/companies/bettercloud-new-york-ny-usa
GSC提供的截图:
https://i.imgur.com/yyscfIt.png
**
第一张图片中的内容已经超过 3 天,因为对网站,特别是该页面进行了更改。**
本站实际内容:
https://i.imgur.com/Fhvc5z1.png
(请注意,两个图像中信息卡中的值不同)
如何禁用此缓存并让爬虫始终接收最新版本的站点?
这些是我放在网站标题中的相关元标记,试图阻止爬虫接收缓存内容,但爬虫仍然继续接收相同的缓存页面。