Robots.txt（机器人排除协议）是放置在网站域根目录中的文本文件，用于向兼容的Web机器人（例如搜索引擎爬虫）提供有关要爬网和不爬网的页面的说明，以及其他信息例如Sitemap位置。在现代框架中，以编程方式生成文件可能很有用。有关搜索引擎优化的一般问题更适合Webmasters StackExchange站点。
我已将站点地图上传到我的站点，但并非所有URL都已被索引。我有一堆没有被Google索引的url。而且我不知道为什么会这样...现在，我有716 ...
我想禁止所有漫游器对网站进行爬网和编制索引。除了Googlebot。我想允许Google索引索引（/）URL，但没有别的。最好在robots.txt中。您对如何...
我想允许所有漫游器对网站进行爬网和编制索引。除了Googlebot。我想允许Google索引索引（/）URL，但没有别的。最好在robots.txt中。您对如何...
[我正在尝试对一个网站进行爬网，并且他们的robots.txt文件说：（其中zoeksuggestie是英文搜索建议）用户代理：*＃其他Disallow：/ mijn / Disallow：/ * / print / * ...
我想发布Angular应用进行测试，但是我想确保该网站不会被机器人抓取或建立索引。我想（可能会走！）我要添加我的 标签...
我想知道Rails应用robots.txt文件的标准做法是什么。 也就是说，通常会阻止机器人跟踪哪些文件夹。 我当前的robots.txt文件是： 我的问题是...
“ Disallow：/ sitepanel /和Disallow：/ cgi-bin /的用途是什么？
我已经看到一些网站在robots.txt文件中使用“ Disallow：/ sitepanel /或Disallow：/ cgi-bin /”。我了解我们使用“ Disallow：”来阻止搜索引擎抓取工具抓取特定的...
Robots.txt用户代理：Googlebot-Image Disallow：/不起作用
Google在Google图片中显示我的图片，但我不想在结果中显示它们。这是我的robots.txt文件：用户代理：*允许：/用户代理：Googlebot-Image不允许：/是...
我在这里看到了其他答案，但是它们并没有真正的帮助，这就是我要问的原因。我也尝试了django-robots框架，但是当我只是将'robots'放入我的...
对于Scrapy搜索工具来说，哪个是最方便的方法来尊重robots.txt中的Crawl-Delay？
有没有我可以切换的设置或DownloaderMiddleware，我可以使用它来强制执行robots.txt的抓取延迟设置？如果没有，我如何在刮刀中实现速率限制？
我一直在使用旧的搜索控制台，尽管新的已经存在了一段时间，但是由于谷歌已经停止支持旧版本，我已经开始转换到新版本。一世 ...
在robots.txt中，我可以为站点地图文件编写以下相对URL吗？ sitemap：/sitemap.ashx或者我必须使用站点地图文件的完整（绝对）URL，例如：sitemap：http：// ...
我一直在使用Google搜索，但找不到该问题的答案。 robots.txt文件可以包含以下行：站点地图：http://www.mysite.com/sitemapindex.xml，但是它是...
谷歌如何知道我的网页链接，因为我想创建一个多语言的网站，但SEO阻碍了我的方式
我擅长英语原谅我并试着理解我**我尝试多语言**与数据库（mysqli）**但我遇到了SEO问题**我在这样的数据库中创建了一个表https：/ / imgbbb ....
codeigniter中的robots.txt - 允许查看/功能
我读了一下robots.txt，我读过我应该禁止我的网页应用程序中的所有文件夹，但我想允许机器人阅读主页和一个视图（网址是例如：www.mywebapp / ...
如果我在robots.txt中有这些行：Disallow / folder / Allow /folder/filename.php那么filename.php会被允许吗？谷歌优先考虑哪些订单？这里会发生什么......
Flask中的静态文件 - robot.txt，sitemap.xml（mod_wsgi）
是否有任何聪明的解决方案可以在Flask的应用程序根目录中存储静态文件。 robots.txt和sitemap.xml应该在/中找到，所以我的想法是为它们创建路由：@app ....
Angular2 + webpack不会部署robots.txt
我正在使用[email protected]创建一个网站。我使用Webpack默认设置（作为依赖项）。这是我的package.json“dependencies”：{“@ angular / common”：“2.1.2”，“@ angular / compiler”：“...
正在经历一个奇怪的问题与wordpress网站元机器人标签。所有页面都有以下元标记，我们似乎无法将其删除 我们......
是否有任何库可以解析robots.txt，如果它不存在，我如何使用boost regex在c ++中编写它？