记录 ETL 作业的方法

Question

我得到的问题可能不太笼统，所以对于 StackOverflow 来说不是最好的 - 对此感到抱歉。然而，我正在谷歌搜索答案，但没有找到任何答案。

在我们的 DWH 项目（AWS S3 + Redshift + informatica）中，我们有数百个 ETL 作业。每个 ETL 作业均由分析师设计并由 ETL 开发人员开发。分析师正在创建描述高级业务功能的 Excel 文档。我们感觉基于 Excel 的文档开始引起问题。我们需要工具来：

• 在字段级转换上定义ETL，但不需要严格的开发（毕竟我们需要文档工具而不是并行ETL开发环境）
• 以图形方式呈现元数据
• 允许元数据的版本控制和高级更改（例如分析师对 ETL 文档中的一项转换进行修改并传递给 ETL 开发人员）
• 跨技术血统 - 单击数据集市中的字段（甚至在 BI 工具中进行测量）并呈现所有依赖关系和转换直至源系统的能力
• 影响分析 - 单击源字段并查看数据集市中将受到影响的每个字段的能力

在我看来，ERWIN Data Intelligence 可以完成这项工作。我想知道市场上是否有类似的产品值得我们考虑？

Answer 1

Informatica 的 EDC 工具可用于跟踪沿袭。它具有适用于 Amazon s3 和 Redshift 的云连接器。

有关更详细的方法，我会向您推荐这篇文章