spark-java 相关问题

Spark是一个受Ruby的Sinatra启发的轻量级Web应用程序框架。请勿使用有关APACHE SPARK的问题。

Spark 结构化流的分组和排序

我有一个用例,其中有流数据集,例如手机号码、开始时间和通话持续时间。 我需要对手机号码进行分组,并根据开始时间对组进行排序并过滤掉呼叫

回答 1 投票 0

如何使用Java和Spark模拟多部分/表单数据?

我正在使用 multipart/form-data 接收一个文件,如下所示(使用 Spark,而不是 SpringBoot): @覆盖 公共对象句柄(请求请求,响应响应)抛出异常{

回答 1 投票 0

在 databricks 上使用 geoscan 时出错

我在 Azure Databricks 上使用了 geoscan 库。但是,当我配置任务时,出现此错误。 `TypeError:'JavaPackage'对象不可调用 --------------------------------------------------------...

回答 1 投票 0

配置Apache Spark的MemoryStream来模拟Kafka流

我被要求研究使用 Apache Spark 的 MemoryStream 在 Java Spring Boot 服务中模拟 Kafka 流。文档/在线社区在这个主题上有点小,所以我...

回答 1 投票 0

需要@Bind吗?

我偶然发现,在 Spring Boot 项目中,我不必在如下查询中绑定参数。 @SqlQuery(""" 选择ID、姓名 来自组织 ...

回答 1 投票 0

如何为通过 Sparkjava 构建的 API 创建 API 文档?

我正在构建一个 Java 应用程序,该应用程序使用 REST API 的“spark java”框架。这是一个很好的简单框架。但我需要创建自动生成的文档。我发现斯瓦格...

回答 1 投票 0

OkHttp 新会话

我有一个http服务器,它使用会话,但是每次我从okhttp发送请求时,服务器都会创建一个新会话。 服务器使用jetty和sparkjava。在浏览器中它可以正常工作,并且...

回答 1 投票 0

Spark Java sum 给出的值不正确

Spark Java sum 给出的值不正确 Java示例代码如下 列表点 = Arrays.asList(-6221.4, 6380.46); 数据集 dt = Spark.createDataset(points, Encoders.DOUB...

回答 1 投票 0

Spark SQL SELECT 有效,但 INSERT 由于 Spark 问题而失败

我正在连接到在 Spark 中运行的 Iceberg 并查询表。我能够从 Spark-Shell 中进行选择和插入。但是从 Java 代码执行相同的语句时会遇到问题 SparkConf SparkCo...

回答 0 投票 0

Spark 并行化到一个函数,该函数返回一个列表并将所有列表连接在一起成为一个单一的列表

我有一个文件列表,我想在没有 spark.read API 的情况下读取这些文件。它效率较低,但由于我的数据设置方式,我想自己读取它并返回一个对象列表。 我的功能是一个

回答 0 投票 0

Spark - 使用阈值计算运行总和

我有一个用例,我需要在运行总和不超过特定阈值的分区上计算运行总和。 例如: // 输入数据集 |编号 |创建时间 |价值 |跑...

回答 0 投票 0

在 Java 后端渲染图像然后在前端显示它

我的目标是在前端有一个节点编辑器,它将有关数据应该如何呈现为图像的信息传递到后端,在那里完成繁重的工作,从而产生一个图像 w...

回答 1 投票 0

无法加载 Spark 静态子目录

这是我的问题: 我在我的 Java 项目中使用 Spark 作为我的 Web 服务器框架。 我的网站设计有以下结构: 索引.html js 文件夹(包含 JavaScript 库和文件) CSS

回答 2 投票 0

如何配置 Eureka Client 和 Service 属性?

我正在尝试使用 Eureka 注册我的 Java 服务 - 但没有成功。我有一个使用 Spark-Java 框架的现有代码库,因此“仅添加 2 行 Spring 注释,瞧!”例子

回答 2 投票 0

在spark中,有什么方法可以使静态连接到redshift数据库。

我正在使用spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它用从数据库表中返回的模式创建一个数据框架。每次当我调用...

回答 1 投票 0

如何从一个udf中访问广播变量,并且广播变量是在另一个类中定义的,而这个udf是被调用的。

如何从一个UDF中访问广播变量,而广播变量是在另一个类中定义的,这个UDF被调用。* 这个UDF在不同的文件中 * 包 com.abc 公共类 ....

回答 1 投票 0

使用Apache Spark在多个对子上有效地进行卡方积的计算。

旧的上下文我在我的数据集上做一个计算,要求每个元素都要与自身结合,即通过在JavaPairRDD上执行mapToPair >,...

回答 1 投票 1


[使用Spark Performance进行Cassandra全表扫描

我需要扫描包含生产中1亿条记录的表。搜索将在第一个聚类关键字上进行。要求是找到唯一的分区键...

回答 1 投票 0

我们如何更改spark输出的文件名[sparkJava]

无论如何,我想更改spark输出文件名,Spark在AWS S3中编写。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.