Robots.txt 不允许重复的产品页面

Question

我目前正在使用一个电子商务系统，该系统会抛出数百个潜在的重复页面 URL，并尝试找出如何通过

robots.txt

隐藏它们，直到开发人员能够在那里进行排序...... .出.

我已经成功阻止了其中的大多数，但卡在了最后一种类型上，所以问题是： 我有 4 个指向同一产品页面的 URL，其结构如下，如何阻止第一个而不是其他 URL。

1. www.example.com/ProductPage

2. www.example.com/category/ProductPage

3. www.example.com/category/subcategory/ProductPage

4. www.example.com/category/subcategory/ProductPage/assessorypage

到目前为止，我能想到的唯一想法是使用：

Disallow: /*?id=*/

然而这会阻止一切......

我相信我可能已经找到了一种方法来做到这一点，通过设置一个

robots.txt

文件来禁止所有，然后只允许我想要的特定路径再次低于该路径，然后......再次禁止此后的任何特定路径。

任何人都知道这是否会对 SEO 产生负面影响，使用“禁止”>“允许”>“禁止”。

Answer 1

您可以为

rel="canonical"

属性设置元标记。这将帮助搜索引擎知道哪个网址是“正确的”网址，并且搜索结果中每个产品的网址不会超过一个。

阅读此处了解更多信息