我在集群中运行了Spark(远程)
如何使用以下场景将提交提交给远程集群的应用程序如何提交]:>
火花提交通过骆驼作为命令执行
该应用程序在其自己的容器中运行。
通过以下链接:
https://github.com/mvillarrealb/docker-spark-cluster
https://github.com/big-data-europe/docker-spark
我们可以提交spark应用程序,但是我们已经将文件和jar复制到了卷中。
如何避免这种情况?
有什么办法吗?
我在集群中运行了Spark(远程),如何使用spark-submit将应用程序提交到具有以下场景的远程集群:spark-submit通过骆驼作为命令执行,应用程序运行...
最简单的方法是使用在spark主节点上运行的livy rest服务器。这允许您仅通过在本地打包作业并使用Submit rest api来提交作业。现在,默认情况下,许多火花云提供商都提供Livy。 (AWS,Azure,Hortonworks)参见doc