spark-submit是一个能够运行apache-spark代码的脚本。 java，scala或python
使用 spark-submit 在集群模式（Spark 独立模式）下同时运行多个 spark 作业
我开始： master 使用 spark-class org.apache.spark.deploy.master.Master worker 使用 spark 类 org.apache.spark.deploy.worker.Worker spark://IP:PORT 然后我使用提交罐子 火花提交...
K8s 上的 spark-submit 与 --package 和 jetty-web-app 的依赖错误
我正在尝试使用 pyspark 和 spark-submit 执行 spark 作业到 kubernetes。我不断收到此错误： 线程“main”中的异常 java.lang.RuntimeException：检索 o 期间出现问题...
我是pyspark的新手。我了解到 local[*] 在本地运行 Spark，其工作线程数与机器上的逻辑内核数一样多。任何人都可以详细解释一下，这是什么意思？ 例如，如果我有一个
Apache Spark方法sun.misc.Cleaner sun.nio.ch.DirectBuffer.cleaner()在spark-submit过程中未找到。
我试图从一个使用Yarn集群模式的虚拟机上运行以下Spark提交。.spark-submit --master yarn --deploy-mode client test_spark_yarn.py 虚拟机的java版本为11，spark-2.4.5......。
如何在kubernetes上使用GCP火花操作符运行spark-submit命令？
我有一个spark应用，我想在kubernetes上部署使用GCP spark operatorhttps:/github.comGoogleCloudPlatformspark-on-k8s-operator。我能够运行一个spark应用，使用...
问：在spark-submit之后，找不到logger(org.apache.spark.deploy.SparkSubmit$$anon$2)的附属机构。
用Apache Spark一步步快速启动，但最后显示这个警告信息 200525 09:43:05 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java ....
背景：我建立了一个XGBClassification的应用程序。我为基于内容的过滤建立了一个XGBClassifier模型，为协作过滤建立了一个ALS模型（对于ALS，我从pyspark.ml导入），并将评级的加权和......
在spark中传递Arguments.在Intellij中执行代码传递运行时参数？
我想写代码传递下面4个参数 inputPath="c:/path...", batchId=123, lastFullBatchId=None, createFullBatch= true，如何实现？
谁能告诉我如何使用jars和包。我的工作是在Web应用程序。对于引擎端spark-mongo binspark-submit --properties-file config.properties --packages org.mongodb.spark:...。
我已经SSH进入Amazon EMR服务器，我想从终端提交一个用Python编写的Spark作业（一个简单的字数文件和一个sample.txt都在Amazon EMR服务器上）。我如何...
是否可以在数据砖中运行“火花提交”而不创建作业？如是 ！什么是可能性，
我正在尝试在databricks工作区笔记本中执行spark-submit，而不创建作业，帮我！
运行spark-submit时出现以下错误。任何帮助表示赞赏。 20/05/30 10:27:32 WARN NativeCodeLoader：无法使用内置Java为您的平台加载本机Hadoop库...
我已经编写了一个包含三个输入文件的代码：TWEETS_FN = DRUGS_FN = CITIES_FN =我想将tweets-100m.csv用于第一个数据输入TWEETS_FN。 drug_sched2.txt，drug_illegal ....
[在部署模式下提交Spark应用程序=集群时如何读取边缘节点上存在的文件
我有一个spark scala应用程序（spark 2.4）。我正在传递存在于边缘节点上的文件作为驱动程序（主）程序的参数，我使用scala.io.Source读取了此文件。现在，当我执行spark -...
错误：在运行spark-submit命令时无法从JAR文件加载主类
我为我的Scala项目创建了Jar，然后从终端运行以下命令[“ com.sukrit.hbase_”是程序包名称，“ Filters_Usage”是我要运行的scala类] ...
我有一个UDF使用莳萝的源代码。我的源代码中使用了其他软件包，所有软件包都列在requirements.txt中。所以我正在做以下事情，但它说“模块不是...
[在集群模式下运行spark-submit命令时如何覆盖Spark jar？ （okhttp3）
我的项目中的jar与spark-2.4.0 jars文件夹中的jar存在冲突。我的改造带来了okhttp-3.13.1.jar（已在mvndependency：tree中验证），但服务器中的spark拥有okhttp-3.8.1.jar，我得到了...
我在这个问题上见过各种话题，但是给出的解决方案在我的情况下不起作用。该环境使用pyspark 2.1.0和Java 7并具有足够的内存和Cores。我正在火花-...
我有一个带有Yarn的SPARK集群，我想将我的工作的jar放入与S3 100％兼容的Object Store中。如果我想提交工作，我从Google进行搜索，似乎只是这样：spark -...
在python中以编程方式提交pyspark作业，而无需使用Submit pyspark
我想将我的本地系统的Spark作业提交到安装了cloudera的远程服务器（YARN上的Spark）。尝试了所有可能性。试图创建SparkSession和SparkContext ...