从谷歌搜索中完全排除目录

Question

所以我想排除整个目录（及其子文件夹）被任何搜索引擎索引。让我们假设我的域名名为“example.com”，目录为“directory-to-exclude”

现在当我输入以下关键字时

要排除的目录示例（不含 .com）

我得到这个作为谷歌结果：

要排除的目录 - 示例

example.com/要排除的目录/

由于该网站的原因，无法提供此结果的描述 robots.txt – 了解更多。

所以它确实会显示，即使内容是隐藏的并且没有被索引。但我想完全阻止谷歌显示它。 现在，肯定有人必须知道我的目录名称才能通过谷歌搜索，但它可以被猜到（并且不想神秘地重命名它）

到目前为止我所做的是将这些行放入我的 robots.txt 中

User-agent: *
Crawl-delay: 10

# Directories
Disallow: /directory-to-exclude/

# Paths (clean URLs)
Disallow: http://www.example.com/directory-to-exclude/
Disallow: http://example.com/directory-to-exclude/
Disallow: /directory-to-exclude/

仍然没有成功。有什么帮助吗？

Answer 1

谷歌已经为您的网站编写了元描述：

“由于此网站的 robots.txt，无法提供此结果的描述 - 了解更多信息。”

所以你的 robots.txt 事实上是正确的。然而，如果有指向该目录的链接或者谷歌认为它实际上很重要，它仍然会抓取该页面。如果你想摆脱它，你可以在该目录中的每个页面上使用 noindex 标签：

<meta name="robots" content="noindex">

Answer 2

将所有流量重定向到其他目录并等待使用 .htaccess 重新索引：

重定向 301 /old-page/ https://www.yourdomain.com/