spark-submit 相关问题

spark-submit是一个能够运行apache-spark代码的脚本。 java,scala或python

在spark上运行非spark python代码以利用其分布式计算来优化性能

我可以在spark中使用现有的原生python代码(非pyspark代码)来利用其快速处理和分布式功能吗?我不想编辑现有的 python 代码以使其成为 pyspark 代码...并且...

回答 1 投票 0

聚合 Spark 独立执行程序日志

我正在尝试测试spark-submit独立模式并运行下面的示例任务 火花提交\ --class org.apache.spark.examples.SparkPi \ --master Spark://MBP-49F32N-CSP.local:7077 \ --

回答 1 投票 0

气流 - 名称错误:名称“ti”未定义

我正在尝试执行一个由几个函数组成的 Airflow 脚本。我想将“program_no”的值作为 Spark 提交请求中的参数传递,我从...

回答 2 投票 0

部署spark-submit容器时出错

我正在尝试部署我为我的主模块中的模块完成的项目。在这个项目中,我必须修改一些文件,以便能够将 Spark 与一些 Spark Workers、Cassandra、Flask 和更多 Packa 一起使用...

回答 1 投票 0

引起:java.lang.ClassNotFoundException:org.apache.kafka.common.serialization.ByteArraySerializer

我正在使用 kafka 和 cassandra 进行 Spark 结构化流处理,当我在命令下运行时出现错误 Spark-submit --class StreamHandler --master local[*] --packages "org.apache.spark...

回答 1 投票 0

我的 Airflow 管道运行 Spark 作业时出现错误

当我的气流管道在本地 Spark 上运行作业时出现错误。我的应用程序包含两个文件: dag-airflow-spark-submitop.py : 进口气流 从日期时间导入日期时间,时间增量 来自艾...

回答 2 投票 0

如何在 Spark 提交中使用 Artifactory 中存储的 JAR?

我正在尝试配置spark-submits以使用存储在artifactory中的JAR。 我尝试了几种方法来做到这一点 尝试 1:更改 --jars 参数以指向 https 端点 重新...

回答 2 投票 0

Spark java.lang.OutOfMemoryError:Java 堆空间[重复]

当我使用 Spark 运行模型训练管道时出现上述错误 val 输入数据 = Spark.read .option("标题", true) .option("模式","DROPMALFORMED") .csv(

回答 2 投票 0

在 azure synapse 中调用 POST livy 批处理 api 时,Spark 请求的核心数量多于要求的数量

我有一个天蓝色的突触 Spark 集群,有 3 个节点,每个节点有 4 个 vCore 和 32 GB 内存。我正在尝试使用 azure synapse Livy 批处理 API 提交 Spark 作业。请求看起来像这样, 卷曲--loca...

回答 2 投票 0

java.lang.IllegalArgumentException:框架太大:5211883372140375593

我将代码提交到集群运行,但是遇到了以下错误。 ''' java.lang.IllegalArgumentException:框架太大:5211883372140375593 在 org.sparkproject.guava.base.Precond...

回答 2 投票 0

从 Docker 中运行的 Airflow 将 Spark 作业提交到本地运行的 Spark 独立集群

我在 Docker 容器中运行 Airflow 2.3.4,并在本地计算机中运行 Spark 3.3.0 独立集群。我正在尝试使用 SparkSubmitOperator 将 Spark 作业提交到我本地的 Spark cl...

回答 1 投票 0

ClassNotFoundException:spark 提交期间 org.apache.beam.runners.spark.io.SourceRDD$SourcePartition

我使用spark-submit来spark独立集群来执行我的shaded jar,但是执行器出现错误: 2006 年 12 月 22 日 15:21:25 INFO TaskSetManager:在阶段 0.0 (TID 1) 中启动任务 0.1 (10.37.2.77,

回答 1 投票 0

为什么驱动程序内存不在我的 Spark 上下文配置中?

当我运行以下命令时: 火花提交--名称“我的应用程序”--master“本地[*]”--py-files main.py--驱动程序内存12g--执行程序内存12g 在我的妈妈中使用以下代码...

回答 1 投票 0

使用Livy提交spark submit后外部文件的路径是什么?

我正在使用 Livy batch api 提交 spark 作业,如下所示。在这里,我将 .p12 作为文件参数传递,稍后将在应用程序中用于 ssl 通信。 { “类名&

回答 0 投票 0

Spark 提交错误 - 无法从 jar 加载主类 - PySpark

我正在运行下面的 spark submit 命令,并收到一条错误消息,提示无法从 jar 文件加载主类:/path/to/dependency.zip 我很难理解为什么它会在 zip 文件中查找主类

回答 0 投票 0

spark-submit 错误,来自坏节点的容器,如何判断一个节点是好是坏

[2023/04/18 13:27:55 警告 YarnSchedulerBackend$YarnSchedulerEndpoint: 请求驱动程序删除执行程序 4,原因是 Container 来自一个坏的 节点:主机上的容器_1681790542995_0003_01_000008:没有...

回答 0 投票 0

错误:Spark-Submit DAG 无法在 Airflow 容器中找到 GCS 连接器文件

我在尝试在 Airflow 容器中运行 spark-submit 作业时遇到错误,希望得到您的帮助。 我构建了两张图片——一张用于 Airflow,一张用于 Spark 并运行 docker-compose f...

回答 1 投票 0

使用 spark-submit 在集群模式(Spark 独立模式)下同时运行多个 spark 作业

我开始: master 使用 spark-class org.apache.spark.deploy.master.Master worker 使用 spark 类 org.apache.spark.deploy.worker.Worker spark://IP:PORT 然后我使用提交罐子 火花提交...

回答 0 投票 0

K8s 上的 spark-submit 与 --package 和 jetty-web-app 的依赖错误

我正在尝试使用 pyspark 和 spark-submit 执行 spark 作业到 kubernetes。我不断收到此错误: 线程“main”中的异常 java.lang.RuntimeException:检索 o 期间出现问题...

回答 0 投票 0

Spark local[*] 示例

我是pyspark的新手。我了解到 local[*] 在本地运行 Spark,其工作线程数与机器上的逻辑内核数一样多。任何人都可以详细解释一下,这是什么意思? 例如,如果我有一个

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.