如何在ASP.Net Core中使用Robots.txt？

我想在我的ASP.NET Core（3.1）项目上使用我的Robots.txt并将其复制到根文件夹和wwwroot文件夹，但似乎不起作用，在ASP.NET MVC上也是如此工作良好。在互联网上搜寻之后，我发现了this link及其很多代码，这是怎么回事。

我不想动态创建它，只想使用我创建的Robots.txt。我该如何处理？

asp.net asp.net-core web-crawler robots.txt

0
投票

之后，您的代码已构建并部署。无论是ASP.NET还是PHP还是WordPress，只要文件存在于您的网站根目录中，Google.com和其他搜索引擎都将找到它并读取内容。作为一个有趣的实验，请在下面查看Google自己的robots.txt。