あb cks cks cks CD / CD

Question

我指的是这个link在我的Databricks环境中实现CI / CD。我已经设置了GitHub并将我的笔记本与我的分支同步。我为每个环境创建了一个临时和生产文件夹。目前我手动导入和导出我的笔记本从master到staging文件夹并运行一个作业。但我有一些问题 -

1]如何在每次合并到中央存储库后自动构建？

2]如何将最新的变化推向多个环境？

Answer 1

看看这个PowerShell模块导入/导出笔记本https://github.com/DataThirstLtd/azure.databricks.cicd.tools/。

基本流程是：

• 像平常在线开发您的笔记本电脑
• 使用Export-DatabricksFolder笔记本到本地磁盘并提交repo
• CI构建使用Import-DatabricksFolder命令运行和部署

由于您使用了GitHub集成，因此可以跳过导出。

Answer 2

根据我的理解，使用：

databricks fs cp etl-2.1-assembly.jar dbfs:/alice/etl/etl-2.1-assembly.jar

使您能够在本地或连续交付环境中构建jar，然后将jar上传到数据库。

这种方式构建是“热门的”，您实际上并不需要将其推送到任何地方，而是将测试的jar上传到Staging / Production。