鉴于没有库或模拟程序,如何在Amazon Athena上完全测试我的ETL管道?

问题描述 投票:1回答:1

我正在编写一个完全用AWS Athena和Python编写的巨大的大数据ETL管道,仅用于编排athena查询,没有任何单元测试框架或库可以帮助模拟,例如w.r.t AWS Athena。我想编写单元测试,并确保我的查询按预期工作。

python python-3.x amazon-web-services bigdata amazon-athena
1个回答
0
投票

我现在没有答案,但是我们处于类似的情况下,我们正在评估是否可以通过Gitlab运行测试管道。詹金斯绝对是一个选择。我们在那里后可以分享更多。

什么对您有用?

© www.soinside.com 2019 - 2024. All rights reserved.