对于目录的给定页面 item.php,有两个参数用于查找项目(t 和 id):例如item.php?t=u&id=11。目录中有几千件商品。没有参数的页面仅仅是一个重定向(不应被索引)。
在考虑搜索引擎爬虫时,是否适合在 XML 中单独列出这些项目(以参数化 URL 的形式),或者采用不同的方法更合适。这些项目主要是固定的(也就是说,它们可能会偶尔被删除或添加,但最多每月一次)。
您应该在 XML 站点地图中列出数千个带有参数的 URL:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://www.example.com/item.php?t=u&id=11</loc></url>
<url><loc>https://www.example.com/item.php?t=u&id=12</loc></url>
<url><loc>https://www.example.com/item.php?t=u&id=13</loc></url>
...
</urlset>
搜索引擎不关心什么文件生成页面,他们关心独特的内容。对于搜索引擎来说,
item.php
不是单个页面,而是数千个页面。