我正在使用 Databricks 捆绑包,我有一个开发和生产环境。我有一个看起来像这样的 yaml:
# yaml-language-server: $schema=bundle_config_schema.json
bundle:
name: baby-names
resources:
tasks:
- task_key: retrieve-baby-names-task
existint_cluster: 1234
notebook_task:
notebook_path: ./retrieve-baby-names.py
targets:
development:
workspace:
host: <workspace-url>
production:
workspace:
host: <workspace-url>
如果您在多个环境中具有相同的集群 id,这非常有用,但我不认为 Jinja 不受支持。如何设置一些逻辑,让我可以部署到环境 A,并使用与该环境相关的集群 ID? vs b 及其集群 ID。 这似乎很重要。
我尝试过手动复制并粘贴新 ID,但这不是我想要做的。
我发现的最佳解决方案是在 python 中使用 Jinja 包,并且在我的构建工具中有一个任务,可以使用该环境的值动态创建 yaml。