禁止 robots.txt 中的所有分页页面

Question

我不希望谷歌抓取我所有的分页：

这里是例子：

http://example.com/blog-page/page/1

http://example.com/blog-page/page/2

http://example.com/blog-page/page/3

好吧，我还有一些其他的分页页面，例如：

http://example.com/product-category/product/page/1

http://example.com/product-category/product/page/2

http://example.com/product-category/product/page/3

这是我的代码

robots.txt

User-agent:  *

Disallow: */page/*

Answer 1

我觉得应该是

User-agent: *
Disallow: /blog-page/page

多个 astricks 不是必需的，你必须确保包含整个路径，因为

/page

将是你网站的根目录

Answer 2

User-agent:  *

Disallow: /blog-page/page/

您可以使用它来帮助您生成 robots.txt

http://tools.seobook.com/robots-txt/generator/

Answer 3

User-Agent

和

Disallow

之间不能有空行。尾随的

*

是完全没有必要的，因为

Disallow

规则（包括通配符规则）都是“开始于”。

除此之外，您的

robots.txt

文件看起来会让搜索引擎无法分页。你可以用Google的工具测试一下: