将增量表从 ADB 复制到 Azure SQL 服务器

问题描述 投票:0回答:1

我尝试通过 ADB 笔记本将多个增量表从 ADB 复制到 Azure SQL 服务器。 我的 Delta 表大小之一是 11 GB,但是当它复制到 SQL Server 中时,它的大小是 99 GB。

我已经匹配了ADB和SQL服务器中存在的相同表的计数(成功处理后)..计数是相同的。只是尺寸增加了。

怎么可能?

我有几个问题:-

  1. 将增量表从 ADB 复制到 Azure SQL 时,复制到 Azure SQL 中的表的大小会增加吗?减少?还是保持不变?
  2. 如果增加,那么如何在从增量表 ADB 进行处理后减少 Azure SQL Server 中表的大小
azure azure-sql-database azure-databricks delta-lake
1个回答
0
投票

Delta 表是柱状且压缩的。当复制到 SQL Server 时,数据将被解压缩,因此 SQL 上的大小几乎总是会增加。

要减小 SQL 表的大小,您可以使用:

  1. 数据压缩,在行或页面级别压缩表数据 - 请参阅此处的详细信息 - https://learn.microsoft.com/en-us/sql/relational-databases/data-compression/data-compression?view= sql-server-ver16
  2. 列存储索引 - 将表转换为列式基础并具有更好的压缩率 - 请参阅此处的详细信息 - https://learn.microsoft.com/en-us/sql/relational-databases/indexes/columnstore-indexes-查询性能?view=sql-server-ver16
© www.soinside.com 2019 - 2024. All rights reserved.