Azure Databricks 群集配置

问题描述 投票:0回答:1

对于迁移,我希望利用 azure databricks 将 azure sql 数据库迁移到 adls。

整个数据库将包含大约 4000 个表,总大小约为 2.5 TB。

我想使用azure databricks将所有文件推送到adls。文件应按年份分区。我正在使用 Microsoft 的定价工具对 databricks 的定价进行研究,但很难假设哪些实例系列、工作负载、VM 小时数和 DBU 小时数适合我的场景。

有谁有任何经验并可以指导我正确的方向,哪些配置最适合我的情况?

azure cluster-computing azure-databricks azure-data-lake
1个回答
0
投票

看看Azure Data Factory,它更接近于执行数据迁移所需的工具,Azure Data Bricks是一个面向数据分析的平台(在幕后运行spark),您可以在其上创建DataFrame和转换平台,但不是该工具的主要目的,如果您的目的是迁移多个数据库并转换数据以将表存储在 ADLS 中,则更像是 Azure 数据工厂等 ETL 工具的工作。

要开始使用,请查看此处:https://learn.microsoft.com/en-us/azure/data-factory/connector-sql-server?tabs=data-factory

© www.soinside.com 2019 - 2024. All rights reserved.