从Azure Data Lake向SQL Server提取数据的最佳方法

Question

我正在寻找一种最佳的编程方法，将数据从Azure Data Lake提取到MSSQL数据库，该数据库安装在Azure中的VM上。

目前我正在考虑以下选项：

• Azure Data Factory
• SSIS（Using Azure Data Lake Store Connection Manager）
• 用户定义的输出器Example1，Example2
• 自定义C＃代码，用于读取Azure Data Lake数据并将其插入SQL Server DB

我失踪的任何其他好方法？

Answer 1

数据工厂v2（目前在公开预览中），也支持hosting SSIS为您提供数据工厂和ssis选项。

对于许多场景而言，并不一定是个好主意，但Azure Logic Apps同时具有data lake store connector和SQL Server connector，这在诸如按计划或触发器编写大量小文件的情况下非常有用。

您也可能不需要完全使用c＃而是使用PowerShell，对于数据湖存储和SQL Server都有powershell模块。