我正在编写一个完全用AWS Athena和Python编写的巨大的大数据ETL管道,仅用于编排athena查询,没有任何单元测试框架或库可以帮助模拟,例如w.r.t AWS Athena。我想编写单元测试,并确保我的查询按预期工作。
我现在没有答案,但是我们处于类似的情况下,我们正在评估是否可以通过Gitlab运行测试管道。詹金斯绝对是一个选择。我们在那里后可以分享更多。
什么对您有用?