我可以编写一个robots.txt规则来禁止抓取带有锚点部分（使用井号字符#）的URL吗？

Question

我的网站上有一个目录插件，它创建了一些以 # 开头的网址。

like：

https://example.com/#how_to_do_something

，链接到内容中该标题的部分。

就像它为我的内容中的每个标题创建了不同的 url，以便能够将它们与内容列表链接，这样，如果用户单击内容列表中的该标题，就会导航到该部分。 无论如何，我想在 robots.txt 中禁止这些 URL。我该怎么办？！

这样写是否正确：Dissallow: /# 是否正确？

我尝试了 Disallow: *# 但不幸的是它阻止了我的一些重要文章。

Answer 1

问题在于 robots.txt 文件中的哈希字符 (

#

) 指示该行的其余部分是注释。所以

 Disallow: /#

与

意思相同

 Disallow: /

但是，robots.txt 规范规定服务器应支持百分比编码，因此您应该能够将

#

写为

%35

；例如

 Disallow: /%35*  # should block URLs in the root directory starting
                  # with a hash character

参考：

• RFC 9309 - 机器人排除协议