如何禁止包含特定字符的网址

Question

我的网站上有一个目录插件，它创建了一些以 # 开头的网址。

例如：www.aaaa.com/#how_to_do_something，链接到内容中该标题的部分。

就像它为我的内容中的每个标题创建了不同的 url，以便能够将它们与内容列表链接，这样，如果用户单击内容列表中的该标题，就会导航到该部分。无论如何，我想在 robots.txt 中禁止这些 URL。我该怎么办？！

这样写是否正确：Dissallow: /# 是否正确？

我尝试了 Disallow: *# 但不幸的是它阻止了我的一些重要文章。

Answer 1

问题在于 robots.txt 文件中的哈希字符 (

) 指示该行的其余部分是注释。所以

 Disallow: /#

与

意思相同

 Disallow: /

但是，robots.txt 规范规定服务器应支持 % 编码，因此您应该能够将

编码为

%35

；例如

 Disallow: /%35*  # should block URLs in the root directory starting
                  # with a hash character

参考：