这对我来说似乎是一个错误。我能找到的唯一信息是在 Google 的机器人元标记规范:
如果我们的爬虫遇到竞争指令,我们将使用我们找到的最严格的指令。
所以(至少对于谷歌来说)代码:
<meta name="robots" content="noindex, follow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, nofollow">
的作用与:
完全相同<meta name="robots" content="noindex, nofollow">
可以想象,这段代码可能是某种偷偷摸摸的黑客行为,旨在通过利用不同的爬虫解决冲突的方式的差异,将不同的规则应用于不同的爬虫。如果是这样,恕我直言,这是一个糟糕的主意。当已经有合法的机制可以做同样的事情时,就不需要进行混乱而脆弱的黑客攻击:
<meta name="googlebot" content="noindex, follow">
<meta name="bingbot" content="index, nofollow">