我想在突触三角洲湖中实现黄金层,该怎么做

问题描述 投票:0回答:1

我们已经实现了具有 Delta Lake 机制的 Synapse,直到白银,我想实现黄金层,现在不明白如何去做,我们正在使用 Azure 服务器较少的 sql

黄金层模型如何以及我如何自动化该过程

azure-data-factory serverless azure-synapse timedelta
1个回答
0
投票

使用 Azure 无服务器 SQL,您可以存储黄金层表的元数据。为此,请在 Azure SQL 数据库中创建一个数据库并建立用于存储元数据的表。

要了解有关在无服务器池中创建外部表的更多信息,请按照以下步骤在 Synapse Analytics 中实现黄金层:

第1步:定义黄金层的架构,包括要存储的表和列。您可以使用与银层相同的架构或对其进行修改以满足特定要求。

第2步:定义schema后,在gold层创建表。使用与银层相同的 SQL 脚本或对其进行修改以满足特定要求。

第3步:创建表后,将数据加载到黄金层。采用与银层相同的 ETL 工艺或对其进行修改以满足特定要求。

第 4 步: 利用 Azure 数据工厂创建一个管道,该管道按计划运行或在银层中有新数据可用时触发。该管道可以从银层中提取数据,根据需要进行转换,然后将其加载到金层中。

© www.soinside.com 2019 - 2024. All rights reserved.