爬虫工具是否需要测试?以何种方式?
我公司正在使用爬虫工具(通过API和GUI)为客户收集数据。问题是有时目标网站的 GUI 有一些变化,导致爬虫出错或数据丢失。
现在老板想确保每次发生变化时,他们都会立即知道(当然是通过 DevOps/CICD)。
但是,我不确定应该使用哪种方法进行测试。领导要我做自动化测试,但是意味着我得做爬虫。。。还是自己一个人。它只是做了两次工作。单元测试?
也许吧,但这是否有必要,因为如果你想提醒你错误,你可以在你的代码中正确地做到这一点。
此外,据我所知,测试是关于获取标准样本数据集,该样本数据集的大小小于可行数据集。但是当你测试爬虫时,你测试了它的所有数据,因为你有能力做到这一点,这意味着你只是做源代码做的……再一次。
那你怎么看?