我能够使用ADF UI轻松地为一个表设置SCD Type 2流程，但是我没有一种简单的方法可以扩展到我们拥有的数千个数据源。我没有看到任何Java API可以让我编写ADF Pipelines / Dataflow并动态配置和触发它们。没有UI允许从特定数据库等中选择哪些表。我查看了Azure Datalake Gen 2，Azure Databricks等。我没有看到Azure中的任何工具可用来替换UI驱动的Data Lake提取过程。建在房子里。我缺少什么吗？
在旁注中，我们有一个旧的Data Lake应用程序，该应用程序从数以千计的数据源（如数据库，日志文件，Web应用程序等）中提取数据，并使用Java，Spark，Kafka等技术将数据存储在HDFS（典型架构）上等等。我们正在评估Azure Active Data Factory来替代它。
ADF中内置了一个通用SCD（类型1，但您可以改装为类型2）示例。转到“新建”>“来自模板的管道”>“使用数据流进行转换”>“通用SCD类型1”。
您可以利用Java的REST API使用代码来构建管道。