我正在尝试在Dataproc集群上提交spark工作。该作业需要多个系统属性。我能够通过如下一个:
gcloud dataproc jobs submit spark \
--cluster <cluster_name> \
--class <class_name> \
--properties spark.driver.extraJavaOptions=-Dhost=127.0.0.1 \
--jars spark_job.jar
如何传递多个属性?我尝试如下,即使这不起作用。
--properties ^#^spark.driver.extraJavaOptions=-Dhost=127.0.0.1,-Dlimit=10
我想到了。
gcloud dataproc jobs submit spark \
--cluster <cluster_name> \
--class <class_name> \
--properties spark.driver.extraJavaOptions='-Dhost=127.0.0.1 -Dlimit=10 -Dproperty_name=property_value' \
--jars spark_job.jar