如何禁止使用 robots.txt 嵌套文件夹？

Question

在我的 robots.txt 中，我有一条禁止规则，例如：

User-agent: *
Disallow: /_hcms/

我想禁止在

_hcms

及其嵌套文件夹中放置任何内容，例如

/_hcms/a/

或

/_hcms/b/

。

我是否应该为此类子文件夹添加禁止规则，例如

User-agent: *
Disallow: /_hcms/
Disallow: /_hcms/a/
Disallow: /_hcms/b/

或者现有规则

Disallow: /_hcms/

是否不允许子文件夹？或者它甚至应该是

Disallow: /_hcms

，而不带结束斜杠？

Answer 1

您可以使用现有规则 Disallow: /_hcms/ 来禁止在 _hcms 及其嵌套文件夹中放置任何内容。尾部斜杠是可选的，不会影响规则的行为。因此，您不需要为子文件夹添加额外的规则。