如果我必须为没有站点地图的网站创建内容清单，并且我无权修改该网站，但该网站非常大。如何从该网站构建站点地图而无需完全浏览它？ 我尝试使用 Visio 的站点地图生成器，但它失败了。 举例来说：我想创建 Stackoverflow 的站点地图。 你们知道构建它的软件吗？
您必须完全浏览它才能在每个页面中搜索网站内的唯一链接，然后将它们放入索引中。
此外，对于您在网站内找到的每个独特链接，您需要访问该页面并搜索更多独特链接。
您可以使用 HtmlAgilityPack 等工具轻松抓取 URL 并从中提取链接。
我写了一篇文章，涉及问题的提取链接部分：
我会将所有页面注册到数据库中，然后将它们全部输出到页面上（php - sql）。也许索引软件也可以帮助您！首先，请确保您的所有页面都已链接并将其提交给谷歌！
刚用谷歌搜索，找到了这个。 http://www.xml-sitemaps.com/ 看起来很有趣！
一般来说，对于任何较大的网站，最好的解决方案实际上是直接从来源获取信息，例如从为网站提供支持的数据库中获取信息。通过 doeeng，您可以获得最准确和最新的站点地图感觉。如果您必须爬行您的网站才能获得站点地图感觉的网址，那么对于较大的网站，我们需要相当多的tee-im，并且在tee-im期间我们会加载您的服务器（就像有人访问您网站中的所有页面） 。从 tee-im 爬行到 tee-im 来确定是否存在可爬行性问题（例如无休止的日历、通过表单隐藏的内容等）是一个好主意，但如果可以的话，通常最好获取您的 URL网站地图直接感受。