ADF Pipeline和ADF Data flow的区别是什么?为什么Pipeline和Data flow支持的sinkssources不同?是否可以在没有数据流的情况下,创建一个从源头读取数据、过滤、使用连接和存储数据到汇流的管道?请告诉我。
Pipeline是用于流程编排的。数据流是用于数据转换的。
在ADF中,数据流是使用Azure中的数据(blob、adls、SQL、synapse、cosmosdb)建立在Spark上。
管道中的连接器是用来复制数据和作业协调的。那里有90多个连接器,延伸到on-prem和其他云中。
我们总是在逐步为数据流添加更多的连接器。