scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

如何选择其中包含特殊字符的scala数据框列?

我正在读取一个json文件,其中的键是特殊字符。例如 [{ "ABB/aws:1.0/CustomerId:2.0": [{ “id”:20, “namehash”:...

回答 1 投票 0

如何加载 json 文件的特定键并使用该键下的值列表创建字符串?

我正在解析一个主json,其中包含scala中的完整数据。然后我需要加载另一个 json,它具有用于过滤每个对象的必需属性,例如 Orders 就是其中之一。我需要阅读...

回答 1 投票 0

如何在scala中解析和读取json数据并通过迭代值形成字符串?

我正在尝试解析此 json 数据,然后读取 Orders 元素下的值。我的最终目标是读取 order 元素下的所有可用键,然后通过连接值创建一个字符串...

回答 1 投票 0

为什么在Spark 布隆过滤器中观察到的误报率高于预期?

在 Spark 中使用大量元素(>4 亿左右)创建一个 ffp(误报率)为 1% 的布隆过滤器时,观察到的误报率似乎要高得多,如

回答 1 投票 0

restful简单的web api,如何制作这个项目? [重复]

我正在尝试使用 React.js 和 Scala 创建一个 Web 应用程序。所以我在 Scala 中有一个编程代码,它只是打印一个随机名称以及它在我的 stdout 中作为 JSON 对象打印的当前时间。看起来

回答 1 投票 0

首先创建网络服务而不是网站,反之亦然

我计划为其他开发人员构建一个应用程序包,其中包括移动应用程序、网站和 Web 服务。网站优先,移动应用程序其次。 对于

回答 1 投票 0

如何在 Scala 中在自引用树结构上创建尾递归合并方法(或者甚至可能)?

更新 2024.03.16:提供了产生正确输出的代码,但仍然不是尾递归。 如何在 Scala 中的自引用树结构上创建尾递归合并方法(或...

回答 1 投票 0

如何使列表包含整数和字符串?仅使用列表的挑战

我从 scala 开始,我需要包含一堆整数,以及列表中除数字之外的其他内容。 例如 List(4,null) 或 List(4,"STOPSTR")。 我将如何声明类型的变量...

回答 2 投票 0

在Scala中,如何在迭代每个Map键时执行精确的比较匹配?

最终,我的目标是迭代包含数千条记录的 Map,并将每个匹配键与具有数百列的 Dataframe 中的列名称进行比较。 我有一个数据...

回答 1 投票 0

执行 Group By - 单次迭代与两次迭代

当我们在 Spark 中执行 groupBy 时,它是否会将整个分组数据带到单个分区/执行器中,或者无论数据存在于哪个分区,它都会执行初始分组并最终带来所有唯一的

回答 1 投票 0

如何在 Spark/Scala 中使用另一列的分隔符来拆分列

我还有一个与 split 函数相关的问题。 我是 Spark/Scala 新手。 下面是示例数据框 - +--------------------+---------+ |值|分隔符| +----------...

回答 5 投票 0

奇怪的 scala 3 语法 - 没有类型的新语法

def flatMap[B](f: A => IO[B]): IO[B] = 新: def unsafeRun = f(self.unsafeRun).unsafeRun 该方法创建一个新的IO对象 我不明白没有类型的 new 的用法。感觉像结构...

回答 1 投票 0

如何使用 log4j 自定义附加程序在 HDFS 上创建日志?

概述 我们希望使用 log4j 记录 Spark 作业活动,并将日志文件写入 HDFS。 Java 8、Spark 2.4.6、Scala 2.1.2、Hadoop 3.2.1 我们无法找到本地 apache log4j 附加程序来写入...

回答 1 投票 0

对大数据执行Distinct操作

当我们在Spark中对delta表或s3/gcs数据文件执行distinct操作时,它是否会像group by一样将整个数据拉到单个执行器中? 如果一个表的数据量很大,我们怎么办...

回答 1 投票 0

在 slick 中更新表格的前 n 行

使用 slick 3.0 时,我想更新表格的前 n 行而不是整个行 这是更新所有版本: private[this] val active = this.filter(a => a.status =!= AccountStatus.DISABLED) ...

回答 2 投票 0

如何在swagger中隐藏参数?

有人成功从生成的文档中隐藏参数吗?我在这里发现了一个问题,但是在 @HeaderParam 之前使用 @ApiParam(access="internal", required=false) 似乎不起作用。

回答 10 投票 0

如何迭代 scala 数据帧行并将列名称存储在可用于 for 循环内的某些操作的变量中?

需要了解,如何使用for循环迭代scala数据帧并在for循环内执行一些操作。我可以使用下面的代码进行迭代,但我无法执行任何其他操作,例如 storin...

回答 2 投票 0

处理scala中的空指针异常

如何在没有 if else 条件的情况下处理 scala 中的空指针异常? val x: 字符串 = "null" val len=x.长度 打印(长度) 得到java空指针异常错误如下, java.l...

回答 1 投票 0

与空数据框联合问题

我想在循环中将一个数据帧附加到另一个空数据帧,最后写入一个位置。 我的代码 - val myMap = Map(1001 -> "rollNo='12'",1002 -> "rollNo='13'")...

回答 2 投票 0

如何在scala数据框中分解两个数组列?

如果我只是执行下面的操作,我会得到每个主题重复的 4 行标记。任何人都可以在这里指点一下来解决这个问题。 df.withColumn("subject",explode($"subject")).withColumn(&...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.