多个机器人元标签

问题描述 投票:0回答:2
meta robots.txt
2个回答
8
投票

这对我来说似乎是一个错误。我能找到的唯一信息是在 Google 的机器人元标记规范:

如果我们的爬虫遇到竞争指令,我们将使用我们找到的最严格的指令。

所以(至少对于谷歌来说)代码:

<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">

的作用与:

完全相同
<meta name="robots" content="noindex, nofollow">

可以想象,这段代码可能是某种偷偷摸摸的黑客行为,旨在通过利用不同的爬虫解决冲突的方式的差异,将不同的规则应用于不同的爬虫。如果是这样,恕我直言,这是一个糟糕的主意。当已经有合法的机制可以做同样的事情时,就不需要进行混乱而脆弱的黑客攻击:

<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">

0
投票

根据这篇文章,最严格的将获胜: https://developers.google.com/search/blog/2007/03/using-robots-meta-tag

© www.soinside.com 2019 - 2024. All rights reserved.