如何远程运行spark-submit?

问题描述 投票:2回答:1

我在集群中运行了Spark(远程)

如何使用以下场景将提交提交给远程集群的应用程序如何提交]:>

  1. 火花提交通过骆驼作为命令执行

  2. 该应用程序在其自己的容器中运行。

  3. 通过以下链接:

https://github.com/mvillarrealb/docker-spark-cluster

https://github.com/big-data-europe/docker-spark

我们可以提交spark应用程序,但是我们已经将文件和jar复制到了卷中。

如何避免这种情况?

有什么办法吗?

我在集群中运行了Spark(远程),如何使用spark-submit将应用程序提交到具有以下场景的远程集群:spark-submit通过骆驼作为命令执行,应用程序运行...

docker apache-spark apache-camel spark-submit
1个回答
1
投票

最简单的方法是使用在spark主节点上运行的livy rest服务器。这允许您仅通过在本地打包作业并使用Submit rest api来提交作业。现在,默认情况下,许多火花云提供商都提供Livy。 (AWS,Azure,Hortonworks)参见doc

© www.soinside.com 2019 - 2024. All rights reserved.