我们已经实现了具有 Delta Lake 机制的 Synapse,直到白银,我想实现黄金层,现在不明白如何去做,我们正在使用 Azure 服务器较少的 sql
黄金层模型如何以及我如何自动化该过程
使用 Azure 无服务器 SQL,您可以存储黄金层表的元数据。为此,请在 Azure SQL 数据库中创建一个数据库并建立用于存储元数据的表。
要了解有关在无服务器池中创建外部表的更多信息,请按照以下步骤在 Synapse Analytics 中实现黄金层:
第1步:定义黄金层的架构,包括要存储的表和列。您可以使用与银层相同的架构或对其进行修改以满足特定要求。
第2步:定义schema后,在gold层创建表。使用与银层相同的 SQL 脚本或对其进行修改以满足特定要求。
第3步:创建表后,将数据加载到黄金层。采用与银层相同的 ETL 工艺或对其进行修改以满足特定要求。
第 4 步: 利用 Azure 数据工厂创建一个管道,该管道按计划运行或在银层中有新数据可用时触发。该管道可以从银层中提取数据,根据需要进行转换,然后将其加载到金层中。