如何在Azure中以parquet格式存储行/列数据？

Question

我需要对 4-5 个字段的数据进行 CRUD。数据记录/行的数量可以是数百万。如何将其存储为 Parquet/delta parquet 格式？

Azure 中是否有一个存储引擎可以用来以 parquet 格式存储数据，类似于 SQL Server 或 Cosmos DB 提供的 API？

Answer 1

您可以尝试使用

将源数据写入镶木地板

1. Azure 数据工厂，使用复制活动 - 源（您的源格式）到接收器（作为镶木地板）
2. Azure databricks，使用 pyspark
3. 存储 - Azure 数据湖存储