将大型(50gb)CSV文件导入到Azure数据库的最快方法

问题描述 投票:0回答:1

我刚刚将100个csv.file合并为一个单个怪物文件,总大小约为50gb。

现在,我需要将其加载到我的Azure数据库中。鉴于我已经在数据库中创建了表,对我来说,将单个文件放入表中最快的方法是什么?

我已阅读的方法包括:导入平面文件,Blob存储/数据工厂,BCP。

我正在寻找有人可以推荐的最快方法?

sql database azure ssms bcp
1个回答
0
投票

Azure数据工厂应该非常适合这种情况,因为它是为处理和转换数据而构建的,无需担心规模。

假设您将大型csv文件存储在磁盘上的某个位置,您不想将其移至任何外部存储(以节省时间和成本)-如果您仅创建一个指向计算机的自集成运行时,那就更好了。托管您的csv文件,并在ADF中创建链接服务以读取该文件。完成后,只需提取文件并将其指向接收器即SQL Azure数据库即可。

https://docs.microsoft.com/en-us/azure/data-factory/connector-file-system

© www.soinside.com 2019 - 2024. All rights reserved.