假设我的根目录中有一个 robots.txt 文件,
http://domain.com/robots.txt
,它在子文件夹中指定了一个站点地图,该子文件夹具有指向站点地图索引的单个声明:
机器人.txt
Sitemap: http://domain.com/sub/sitemap_index.xml
还假设站点地图索引指向与子目录相同的
sitemap.xml
:
sitemap_index.xml
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://domain.com/sub/sitemap-1.xml</loc>
</sitemap>
</sitemapindex>
在站点地图规范中,明确规定站点地图只能指定当前文件夹或子文件夹中的URL。然而,这会改变我上面描述的场景吗?我问的原因是我知道 robots.txt 文件可以指向托管在完全不同的域上的站点地图。如果这是可能的,那么按理说,子文件夹中的站点地图,但从根目录中的 robots.txt 指向,可以指定根目录中的 URL 以及根目录中的所有子文件夹。
有人确切知道吗?
是的,您上面提到的情况会发生变化。在上述场景中,您的 Robot.txt 可以从任何子目录或主目录指向相同的域 URL。