我正在使用 ubuntu 系统和版本 3.5.0 的 pyspark 我正在尝试使用curl -X Post 通过spark Rest api 提交作业。 我的文件位于位置 '/home/arbind/spark/arbind/practice/masterslave1.jar'
我的 Spark Master 在端口 7077 上运行,在 UI 上它的 url 是“http://arbind-sha:8080/”
我做了这个
curl -X POST http://Arbind-SHa:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{
"action" : "CreateSubmissionRequest",
"appArgs" : [ "" ],
"appResource" : "/home/arbind/spark/arbind/practice/masterslave1.jar",
"clientSparkVersion" : "3.5.0",
"environmentVariables" : {
"SPARK_ENV_LOADED" : "1"
},
"mainClass" : "Test",
"sparkProperties" : {
"spark.jars" : "/home/arbind/spark/arbind/practice/masterslave1.jar",
"spark.app.name" : "Test",
"spark.eventLog.enabled": "true",
"spark.submit.deployMode" : "cluster",
"spark.master" : "spark://Arbind-SHa:7077"
}
}'
但是我收到了这个错误 'curl: (7) 0 毫秒后无法连接到 Arbind-SHA 端口 6066:连接被拒绝'
您是否在spark-defaults.conf中添加了以下行 你可以在 $SPARK_HOME/spark/conf 中找到它
spark.master.rest.enabled true
然后您可以执行以下操作 -
cd $SPARK_HOME/sbin/start-master.sh
sh $SPARK_HOME/sbin/start-slave.sh park://192.168.1.1:7077
请在评论中告诉我。