我有一个 WordPress 网站，已在搜索引擎中编入索引。
我已编辑 Robots.txt 以禁止搜索索引中的某些目录和网页。
我只知道如何使用allow和disallow，但不知道如何使用Robots.txt文件中的follow和nofollow。
我在谷歌搜索时在某处读到，我可以拥有不会在谷歌中索引但会被抓取以获得页面排名的网页。这可以通过禁止 Robots.txt 中的网页并对网页使用 follow 来实现。
请告诉我如何在 Robots.txt 文件中使用 follow 和 nofollow。
a.) 关注/不关注和索引/不索引规则不适用于 robots.txt（设置一般站点规则），而是用于页面元机器人标签（设置此特定页面的规则）
b.) Google 不会抓取禁止的页面，但它可以在 SERP 上对它们进行索引（使用来自入站链接或 Dmoz 等网站目录的信息）。
话虽如此，你并不能从中获得任何公关价值。
Google 实际上确实识别 robots.txt 中的 Noindex: 指令。 Matt Cutts 对此进行了谈论：http://www.mattcutts.com/blog/google-noindex-behavior/
如果您在 robots.txt 中为 Google 索引中已存在的页面添加“禁止”，您通常会发现该页面像幽灵一样保留在索引中，但被剥夺了关键字。我想这是因为他们知道他们不会抓取它，并且他们不希望索引包含位腐烂。因此，他们将页面描述替换为“由于此网站的 robots.txt，无法提供此结果的描述 - 了解更多。”
所以，问题仍然存在：既然“禁止”不起作用，我们如何从 Google 中删除该链接？通常，您希望在相关页面上使用元机器人 noindex，因为如果 Google 看到此更新，实际上会从索引中删除该页面，但使用您的 robots 文件中的 Disallow 指令，他们将永远不会知道这一点。
因此，您可以从 robots.txt 中删除该页面的禁止规则，并将元机器人 noindex 标记添加到页面的标题中，但现在您必须等待 Google 返回并查看您告诉他们忘记的页面。
您可以从主页创建一个指向它的新链接，希望 Google 能够得到提示，或者您可以通过直接将该 Noindex 规则添加到 robots.txt 文件来避免整个事情。在上面的帖子中，马特说这将导致链接被删除。
不，你不能。 您可以设置要阻止哪些目录以及哪些机器人，但不能通过 robots.txt 设置 nofollow 在页面上使用 robots 元标记来设置 nofollow。