Robots.txt优先级问题

问题描述 投票:5回答:2

如果我在robots.txt中有这些行:

Disallow /folder/
Allow /folder/filename.php

请问filename.php会被允许吗?

谷歌优先考虑哪些订单?

这里会发生什么?例如:

Allow /
Disallow /

我主要将Google称为搜索引擎。

谢谢

php html search robots.txt
2个回答
5
投票

对于您的第一个示例,是的,将允许文件/folder/filename.php,因为Google将优先考虑最具体的规则。例如,有关详细信息,请参阅herecheck Wikipedia's article

此外,谷歌有关于如何使用robots.txt而不是here的详细文档。

编辑:对于第二个例子,Allow将根据维基百科引用Byron Whitlock在他的回答中发布的优先顺序排列。


3
投票

这取决于搜索引擎:

虽然通过标准实现,第一个匹配的robots.txt模式总是获胜,但Google的实现不同之处在于允许指令路径中具有相同或更多字符的模式赢得匹配的Disallow模式。 Bing使用最具体的Allow或Disallow指令。

为了与所有机器人兼容,如果想要在其他不允许的目录中允许单个文件,则必须首先放置Allow指令,然后放置Disallow。

http://en.wikipedia.org/wiki/Robots_exclusion_standard

© www.soinside.com 2019 - 2024. All rights reserved.