“索引、关注”或“关注”有什么区别？

Question

以下列表有何不同：

<meta name="robots" content="index, follow">

<meta name="robots" content="follow">

<meta name="robots" content="noindex, follow">

<meta name="robots" content="index, nofollow">

<meta name="robots" content="noindex, nofollow">

Answer 1

首先，你了解Meta Robots标签吗？ Meta Robots Tags 是告诉蜘蛛或爬虫要抓取或索引哪个页面。

关注意味着：页面将被抓取。
无关注意味着：页面不会被抓取。
索引意味着：您的页面显示在搜索结果中。
无索引意味着：您的页面不会显示在搜索结果中。

---

<meta name="robots" content="index, follow">

此标签告诉网络爬虫所有页面都将被索引并抓取它们。

---

<meta name="robots" content="follow">

此标签用于告诉网络爬虫所有页面都将被爬行并建立索引。

---

<meta name="robots" content="noindex, follow">

此标签用于告诉爬虫跟踪但不在数据库中索引该页面。

---

<meta name="robots" content="index, nofollow">

告诉网络爬虫页面不要爬行，而是索引它们。

---

<meta name="robots" content="noindex, nofollow">

告诉网络爬虫既不索引也不爬行。

Answer 2

蜘蛛会索引您的整个网站。 蜘蛛不仅会索引您网站的第一个网页，还会在爬行此页面的链接时索引您所有其他网页。

告诉搜索引擎它可以跟踪页面上的链接，以发现其他页面。 （这都是默认行为）

<meta name="robots" content="index, follow">

<meta name="robots" content="follow">

蜘蛛现在将为您的整个网站建立索引。蜘蛛不会索引网页，但它可能会跟踪页面上的链接，以发现其他页面。

<meta name="robots" content="noindex, follow">

蜘蛛会索引此页面，但不会跟踪此页面上的链接到新页面。

<meta name="robots" content="index, nofollow">

蜘蛛根本不会索引此页面，也不会跟踪此页面上的链接到任何其他页面。

<meta name="robots" content="noindex, nofollow">

来源：

https://www.metatags.org/meta_name_robots

https://yoast.com/robots-meta-tags/

https://developer.mozilla.org/en-US/docs/Web/HTML/Element/meta#attr-name

Answer 3

这些标签之间的主要区别是，用非常简单的话来说：

无索引 该页面不应显示在 google、yahoo 等页面的结果列表中。 index 表示相反并允许。

不关注 不允许爬虫/机器人调用（跟随）嵌入/在其元数据中带有此标志的页面上找到的链接。 跟随表示相反并允许。

现在您可以自己弄清楚两者的组合会产生什么结果。;)