爬虫工具是否需要测试？以何种方式？
我公司正在使用爬虫工具（通过API和GUI）为客户收集数据。问题是有时目标网站的 GUI 有一些变化，导致爬虫出错或数据丢失。
现在老板想确保每次发生变化时，他们都会立即知道（当然是通过 DevOps/CICD）。
但是，我不确定应该使用哪种方法进行测试。领导要我做自动化测试，但是意味着我得做爬虫。。。还是自己一个人。它只是做了两次工作。单元测试？
也许吧，但这是否有必要，因为如果你想提醒你错误，你可以在你的代码中正确地做到这一点。
此外，据我所知，测试是关于获取标准样本数据集，该样本数据集的大小小于可行数据集。但是当你测试爬虫时，你测试了它的所有数据，因为你有能力做到这一点，这意味着你只是做源代码做的……再一次。
那你怎么看？