验证数据完整性 ETL

问题描述 投票:0回答:0

目前所有数据库数据都从 SQL/Oracle 迁移到雪花(即仅提取和加载),基本上是数据的副本,以便稍后我们可以修改数据,Power Bi 可以从雪花中获取。

现在我的要求是只验证 SQL 和 Snowflake 之间表中的行数和列数是否相同,即在没有付费工具的情况下验证数千或数百万条记录的数据完整性。

因为我在数据库中有大约 1000 多个表,所以我可以运行 python 脚本来进行验证。或者请提出任何其他有助于实现这一目标的意见。

python sql snowflake-cloud-data-platform etl
© www.soinside.com 2019 - 2024. All rights reserved.