使用 spark-submit 在集群模式（Spark 独立模式）下同时运行多个 spark 作业

Question

我开始：

• 大师使用

  spark-class org.apache.spark.deploy.master.Master

• 工人使用

  spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

然后我使用

提交罐子

spark-submit \
    --class pack1.Maintest \
    --master spark://IP:PORT \
    --deploy-mode cluster \
    Program_1.jar

问题：

使用这些命令我可以运行单个应用程序，但是当我尝试运行另一个应用程序时：

spark-submit \
    --class pack0.test2 \
    --master spark://IP:PORT \
    --deploy-mode cluster \
    Program_2.jar

并通过 -

spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

为这个罐子分配另一个工人，然后网页显示第二个罐子正在等待。

我尝试使用分离：

spark-submit \
    --class <class-name-1> \
    --master <master-url> \
    --deploy-mode cluster \
    --name job-1 <jar-name-1> \
    --detach

或者像这样：

spark-submit 
    --class my.package.Main \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 2g \
    --executor-memory 4g \
    --num-executors 10 \
    my-application.jar arg1 arg2

我只想在集群模式下使用 spark submit 一起运行 2 - 3 个 jar 文件而无需其他等待。