spark-submit 相关问题

spark-submit是一个能够运行apache-spark代码的脚本。 java，scala或python

我正在运行一个独立的Spark集群，并在客户端模式下使用spark-submit提交我的应用程序（用SparkR编写）。我有一组应用程序，我必须根据用户的...运行...

apache-spark spark-submit

回答 1 投票 0

Spark配置页面上提到了大量可调设置。但是，如此处所述，Spark属性的SparkSubmitOptionParser属性名称可以与该属性的-...不同。

apache-spark spark-submit

回答 2 投票 0

我试图通过spark submit运行一个简单的工作。我这样做如下：spark-submit --class com.my.namespace.MyJobClass --master local --deploy-mode client --conf spark.driver ....

java scala apache-spark spark-submit

回答 1 投票 0

是否可以有一个主文件存储一个参数列表，而不是可以从spark-submit命令引用？属性文件的示例，configurations.txt（不一定是.txt）...

apache-spark spark-submit

回答 2 投票 0

我有一个MapR节点集群，我有一个虚拟盒vm，安装了CentOs和MapR客户端。我使用IntelliJ开发Spark / Scala代码。我可以在我的MapR客户端上执行此行以便...

apache-spark intellij-idea spark-submit

回答 1 投票 0

要将Spark应用程序提交到集群，他们的文档说明：要执行此操作，请创建包含代码及其依赖项的程序集jar（或“uber”jar）。 sbt和Maven都有汇编......

java guava nosuchmethoderror maven-shade-plugin spark-submit

回答 3 投票 6

我使用ssh连接到集群，我使用spark-submit --master yarn myProgram.py将程序发送到集群我想将结果保存在文本文件中，我尝试使用以下内容...

python apache-spark pyspark hdfs spark-submit

回答 4 投票 11

我使用spark-submit和内部REST API运行Spark应用程序时遇到问题。我要演示的部署方案是Spark在我的本地笔记本电脑上作为集群运行。 ...

apache-spark apache-spark-2.0 spark-submit

回答 1 投票 0

我试图使用私有密码保护的nexus下载并添加私有jar工件到spark-shell类路径，但它无法下载它。 spark文档（https：//spark.apache.org / ...

apache-spark dependency-management spark-submit

回答 1 投票 0

我正在使用MapR5.2 - Spark版本2.1.0而且我在Yarn CLuster模式下运行我的spark app jar。我已经尝试了我找到的所有可用选项但是无法成功。这是我们的生产......

scala apache-spark yarn mapr spark-submit

回答 1 投票 1

我可以使用控制台在linux服务器上提交spark作业。但是有没有API或某些框架可以在linux服务器上提交spark作业？

apache-spark pyspark spark-streaming distributed-computing spark-submit

回答 2 投票 0