蓝/绿部署、表克隆和 Delta 实时表管道

问题描述 投票:0回答:1

这是一个相当复杂的问题,仅针对 Databricks 用户。 让我回顾一下产生它的背景。 在尝试采用蓝/绿部署协议的过程中,我们发现了Databricks提供的表克隆功能的良好应用。 在每次新的部署交互中,我们都会将现有表克隆到新系统中,同时保持旧系统运行。 新系统经过验证后,我们会更新视图,以便一切顺利进行。 好吧,但是我们如何“克隆”DLT 管道中使用的表呢? 任何帮助或建议表示赞赏!

databricks pipeline
1个回答
0
投票

这是一个非常有趣的问题。在 DLT 中可以有常规表、物化视图(用于批量查询)和视图。我不认为克隆是这里的一个选择(至少我不会觉得一切都能正常工作)。此外,每个 DLT 都将数据保存到单独的数据库中,因此事情可能会更复杂。

我建议进行一项练习,实际上不是克隆表,而是整个 DLT 管道。如果数据集很大,这当然会非常困难且漫长的过程,因为新的管道需要从一开始就处理所有数据。一旦新的 DLT 得到验证,您就可以切换视图以瞄准这个新表。

© www.soinside.com 2019 - 2024. All rights reserved.