从网站获取所有被谷歌索引的网址

Question

我想要一个程序，从一个网站，获取索引到它的所有网址，并提供良好的输出，例如逐行获取所有网址，并获取网站中未使用的网址（因为蜘蛛已经可以做到那个）。

我一直在搜索和寻找马虎的选项，我想要的是准确和简单：输入：URL 输出：所有 URL。

Answer 1

我现在不知道这样的应用程序，但我会尝试通过划分来简化您的任务：

1. 您需要网站内部链接的列表。任何网络爬虫工具都可以做到这一点。
2. 您需要由 Google 索引的网站页面列表。 SE索引检查器有很多，你可以google一下。
3. 将 2nd 列表与 1st 列表进行比较，找到 Google 索引中存在但在您的网站上缺失的所有链接。

Answer 2

这是旧的，但它在谷歌上显示排名第一。如果您需要在谷歌中查找所有网址，只需输入

site:domain.com