sitemap.xml
文件已在网站上创建。但我的问题是如何以及在哪里可以检查它是否成功运行或在特定网站上运行
不同的搜索引擎不同,但对于Google,您可以访问Google Search Console查看抓取统计信息。您可能需要注册您的网站,然后手动提交您的站点地图才能实现,但它会向您显示已抓取的网页,每天抓取的网页数,网站地图的任何错误等。
这是Search Console的链接:https://www.google.com/webmasters/tools/home?hl=en
Crowlet正是如此(完全披露:我是维护者)。它是一个轻量级CLI程序,用于检查sitemap.xml中的所有URL,并报告是否存在响应代码或响应时间问题。
它基本上是一个单行程序,可以根据遇到的问题返回特定的退出代码,或者解析为JSON(logstash,...)。
该项目在这里:https://github.com/Pixep/crowlet。
并举例说明您要寻找的内容:
# Return with code `150` if any page has a status != 200
docker run -it --rm aleravat/crowlet --non-200-error 150 https://foo.bar/sitemap.xml