另一家公司为我管理的网站设置了robots.txt。这是他们使用的代码:
User-agent: googlebot
User-agent: google
User-agent: bingbot
User-agent: bing
Allow: /products/
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /sales/
Disallow: /products/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php*
我看到Disallow:/ products /和allow / products /。我不明白为什么他们这样写下来。我该改变什么吗?
Allow: /products/
适用于谷歌和bing机器人。Disallow: /products/
对所有其他机器人都有效,`User-agent:*'。我对这些规则没有多大意义,但它们并没有违反标准。