在Databricks Jobs API中传递JVM参数

Question

我想使用Databricks中的Jobs API将JVM参数传递给REST请求。有可能做到吗？任何提示都会有所帮助。

类似于-Dconfig-file = app.conf的火花作业。

Answer 1

您可以在REST API作业中使用“ spark_conf”属性。

spark_conf：一个对象，其中包含一组可选的，用户指定的Spark配置键值对。您还可以分别通过spark.driver.extraJavaOptions和spark.executor.extraJavaOptions将字符串的额外JVM选项传递给驱动程序和执行程序。

示例： Spark conf：{“ spark.speculation”：true，“ spark.streaming.ui.retainedBatches”：5}或{“ spark.driver.extraJavaOptions”：“-verbose：gc -XX： + PrintGCDetails“}

如何在Jobs API中使用：要创建启用表访问控制的集群，请在请求正文中指定以下spark_conf属性：

curl -X POST https://<databricks-instance>/api/2.0/clusters/create -d'
{
  "cluster_name": "my-cluster",
  "spark_version": "5.2.x-scala2.11",
  "node_type_id": "Standard_DS3_v2",
  "spark_conf": {
    "spark.databricks.acl.dfAclsEnabled":true,
    "spark.databricks.repl.allowedLanguages": "python,sql"
  },
  "num_workers": 1,
  "custom_tags":{
     "costcenter":"Tags",
     "applicationname":"Tags1"
  }
}'

有关更多详细信息，请参见“ API examples”和“ How to add spark configuration”。

希望这会有所帮助。