用于开发和生产的databricks资产包集群

问题描述 投票:0回答:1

我正在使用 Databricks 捆绑包,我有一个开发和生产环境。我有一个看起来像这样的 yaml:

# yaml-language-server: $schema=bundle_config_schema.json
bundle:
  name: baby-names

resources:
      tasks:
        - task_key: retrieve-baby-names-task
          existint_cluster: 1234
          notebook_task:
            notebook_path: ./retrieve-baby-names.py

targets:
  development:
    workspace:
      host: <workspace-url>
  production:
    workspace:
      host: <workspace-url>

如果您在多个环境中具有相同的集群 id,这非常有用,但我不认为 Jinja 不受支持。如何设置一些逻辑,让我可以部署到环境 A,并使用与该环境相关的集群 ID? vs b 及其集群 ID。 这似乎很重要。

我尝试过手动复制并粘贴新 ID,但这不是我想要做的。

databricks databricks-cli
1个回答
0
投票

我发现的最佳解决方案是在 python 中使用 Jinja 包,并且在我的构建工具中有一个任务,可以使用该环境的值动态创建 yaml。

© www.soinside.com 2019 - 2024. All rights reserved.