在GitHub页面中使用robots.txt有什么意义？

Question

我知道robots.txt文件用于阻止第三方索引内容网站的网页爬虫。

但是，如果此文件的目标是划分站点的私有区域或保护私有区域，这是尝试使用robots.txt隐藏内容的意义，如果所有都可以在GitHub存储库中看到？

我的问题使用自定义域扩展了示例。

是否有动力在GitHub页面中使用文件robots.txt？是还是不是？为什么？

备选方案1 对于那些内容保持有效隐藏，那么将需要为网站付费就是获得一个私有存储库。

Answer 1

robots.txt的意图不是划定私人区域，因为机器人甚至无法访问它们。相反，如果您有一些垃圾或其他杂项，您不希望被搜索引擎索引等等。

比如说。我为娱乐编写Flash游戏，我使用GitHub页面允许游戏检查更新。我在我的GHP上托管了this file，所有内容都是

10579
2.2.3
https://github.com/iBug/SpaceRider/tree/master/SpaceRider%202

它包含三条信息：新版本的内部编号，新版本的显示名称和下载链接。因此，当爬虫被索引时，它肯定是无用的，所以当我有一个robots.txt这是一种东西时，我会远离被索引。