尝试通过spark Rest api提交pyspark作业但连接被拒绝

Question

我正在使用 ubuntu 系统和版本 3.5.0 的 pyspark 我正在尝试使用curl -X Post 通过spark Rest api 提交作业。 我的文件位于位置 '/home/arbind/spark/arbind/practice/masterslave1.jar'

我的 Spark Master 在端口 7077 上运行，在 UI 上它的 url 是“http://arbind-sha:8080/”

我做了这个

curl -X POST http://Arbind-SHa:6066/v1/submissions/create --header "Content-Type:application/json;charset=UTF-8" --data '{                                 
"action" : "CreateSubmissionRequest",
"appArgs" : [ "" ],                                                   
"appResource" : "/home/arbind/spark/arbind/practice/masterslave1.jar",
"clientSparkVersion" : "3.5.0",
"environmentVariables" : {
"SPARK_ENV_LOADED" : "1"
},                   
"mainClass" : "Test",                                                                                 
"sparkProperties" : {                                                
"spark.jars" : "/home/arbind/spark/arbind/practice/masterslave1.jar",
"spark.app.name" : "Test",
"spark.eventLog.enabled": "true",
                                      
"spark.submit.deployMode" : "cluster",
"spark.master" : "spark://Arbind-SHa:7077"
} 
}'

但是我收到了这个错误 'curl: (7) 0 毫秒后无法连接到 Arbind-SHA 端口 6066：连接被拒绝'

Answer 1

您是否在spark-defaults.conf中添加了以下行 你可以在 $SPARK_HOME/spark/conf 中找到它

spark.master.rest.enabled true

然后您可以执行以下操作 -

cd $SPARK_HOME/sbin/start-master.sh

sh $SPARK_HOME/sbin/start-slave.sh park://192.168.1.1:7077

那就试试吧http://192.168.1.1:8080

请在评论中告诉我。