我正在尝试使用 databricks-cli 在 Azure 上的 Databricks 中创建一个新集群。
我正在使用以下命令:
databricks clusters create --json '{ "cluster_name": "template2", "spark_version": "4.1.x-scala2.11" }'
并返回此错误:
Error: {"error_code":"INVALID_PARAMETER_VALUE","message":"Missing required field: size"}
我找不到有关此问题的文档,很高兴获得一些帮助。
我在这里找到了正确的答案。
在 azure 上运行此命令的正确格式是:
databricks clusters create --json '{ "cluster_name": "my-cluster", "spark_version": "4.1.x-scala2.11", "node_type_id": "Standard_DS3_v2", "autoscale" : { "min_workers": 2, "max_workers": 50 } }'
databricks clusters create --json-file /path/to/my/cluster_config.json
如果您正在管理大量集群,这可能是一种更简单的方法。
databricks clusters create --json "{ "cluster_name": "custpm-cluster", "spark_version": "4.1.x-scala2.09", "node_type_id": "Standard_DS3_v2", "autoscale" : { "min_workers": 2, "max_workers": 50 }}"
现在如下
databricks clusters create --json @cluster_config.json
实际的 json 文件路径必须以 @ 为前缀(或者您可以在双引号内提供完整的 json 字符串)。如果没有@前缀,您将收到类似于下面的错误消息
Error: invalid character 'c' looking for beginning of value
“c”将替换为 json 文件的第一个字符,因为它无法识别它是文件而不是 json 文字。可能对我希望的人有用。