测试所有内部链接

Question

我运行 NodeJS 服务器。我有时会删除页面并忘记删除引用。我想测试所有内部链接是否正常工作。我想象一个爬虫和一个 npm 测试包可以建立一个从主页链接的所有内部页面的列表，并确认它们返回 200 状态代码。

实现这一目标的最佳框架是什么？

Answer 1

无需重新发明轮子。

我为此目的使用了

hyperlink

NPM 包。

安装：

npm install -g hyperlink

例如，在端口 8080 上启动 Web 服务器，然后运行：

hyperlink -ir http://localhost:8080

i

仅用于内部链接，

r

用于递归。

Answer 2

看来

hyperlink

被废弃了；在本期中，一位贡献者提到了

linkinator

。

我没有尝试过，因为我用Python编写了自己的爬虫来处理图像和PDF等情况。我重新发明了轮子，因为这个爬虫稍后将用于索引我网站的私人页面以实现搜索功能。