spark-submit是一个能够运行apache-spark代码的脚本。 java，scala或python
这是我的情况：Apache spark版本2.4.4 Hadoop版本2.7.4我的应用程序jar位于hdfs中。我的spark-submit看起来像这样：/software/spark-2.4.4-bin-hadoop2.7/bin/spark-submit \ ...
在Kubernetes中没有通过spark-submit提交的Uber jar
我有一个非常简单的Spark作业，但无法在Kubernetes中工作。我得到的错误是：> 19/10/03 14:59:51警告DependencyUtils：本地jar /opt/spark/work-dir/target/scala-2.11 / ...
火花提交给线程“main” java.lang.SecurityException异常异常：无效的签名
我在Scala中写了一个程序，并使用SBT的汇编指令现在我上传，我的平台上运行它创造了一个可执行的JAR。为构建罐子我已经通过文件不见了 - > ...
总结：我使用的火花提交给我的申请递交给我的火花集群，但分配给我的应用程序的资源没有与我指定的参数一致。详细信息：我总是让...
spark 2.4 com.databricks.spark.avro故障排除
我有一个火花工作，我通常从本地机器提交到hadoop集群。当我用spark 2.2.0提交它时它工作正常，但是当我用2.4.0版本提交时它无法启动。只是 ...
spark-submit集群模式不适用于python spark，但适用于scala spark
我有一个集群，我们有hadoop设置与spark集成。 spark版本是spark v2.0.0，当你在集群模式下部署scala spark时，它按预期工作。以下是命令：...
我正在使用Azure Databricks使用SparkR和gapplyCollect（）部署一些通过多个worker并行化的R代码。项目概述我有10000多个类似的数据源，产生了很多......
num-executors可以覆盖spark-submit中的动态分配
可以在spark-submit命令中指定num-executors覆盖alreay启用的动态分配（spark.dynamicAllocation.enable true）吗？
使用--files传递文件时，Spark-Submit在群集模式下失败
我有一个Java-spark代码，可以读取某些属性文件。这些属性通过spark-submit传递，如：spark-submit --master yarn \ --deploy-mode cluster \ --files / home / aiman / ...
我有一个Spark应用程序，我需要应用于不同的文件，并尽快得到结果，所以为了做到这一点，我有一个创建一个python模块，将准备文件然后...
AWS EMR在群集模式下使用spark步骤。应用程序_已完成状态失败
我正在尝试使用AWS Cli启动集群。我使用以下命令：aws emr create-cluster --name“Config1” - release-label emr-5.0.0 --applications Name = Spark --use-default-role --log-uri's3：.. 。
我正在写一个spark应用程序并使用spark-submit shell脚本运行它（使用yarn-cluster / yarn-client）正如我现在看到的，spark-submit的退出代码是根据相关的纱线决定的...
Spark 2.4.0以集群模式提交 - 为什么需要REST提交服务器
我有一个独立的spark 2.4.0集群，我需要部署应用程序传递一些额外的java选项（驱动程序和执行程序）。为此，我使用spark.driver.extraJavaOptions和spark.executor ....
虽然我有几个文档表明驱动程序在其自己的节点上运行，而该节点是主节点，而从节点上的执行程序也称为Worker，但我以某种方式对此感到困惑。 ...
spark-submit适用于纱线群集模式，但SparkLauncher不适用于相同的参数
我可以通过spark-submit提交spark工作但是当我尝试使用SparkLauncher以编程方式执行相同操作时，它什么也没给我（我甚至在UI上看不到Spark工作）下面是...
如何在使用spark-submit命令时修复Logger错误的初始化
运行我的spark-jdbc作业连接到另一个数据库时，我遇到了问题。但我之前有错误。 org.apache.spark.internal.Logging $ ...中线程“main”java.lang.AbstractMethodError中的异常
我已经在Spark-Submit命令周围创建了一个Wrapper，以便能够通过解析日志来生成实时事件。目的是创建一个实时界面，显示...的详细进度
如何在GCP存储桶中存储spark-submit .py文件？
我正在尝试运行此文件.py文件。我已将dsgd_mf.py文件复制到GCP存储桶中。所需的输入数据文件也在我的桶中。如何激发提交并获得输出？ （https：//开头的github ....
我想停止火花壳上的各种消息。我尝试编辑log4j.properties文件以停止这些消息。以下是log4j.properties的内容#define the ...
当spark-submit时，ClassNotFoundException scala.runtime.LambdaDeserialize
我按照https://spark.apache.org/docs/2.1.0/quick-start.html上的Scala教程我的scala文件/ * SimpleApp.scala * / import org.apache.spark.SparkContext import org.apache。 spark.SparkContext._ ...