scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

如何使用doobie实现错误处理

覆盖 def getUser(uuid: UUID): F[Either[String, User]] = { val query = sql"""从“用户”中选择电子邮件、密码,其中“userId”= $uuid """ ...

回答 1 投票 0

ZIO Quill:找不到类型模型的隐式 SchemaMeta。Pet

我目前正在使用 ZIO 和 Quill 开发宠物商店应用程序。作为学习过程的一部分,我建立了一个本地 H2 数据库并将其配置为存储宠物信息。然而,我遇到了...

回答 1 投票 0

如何从Spark UDF返回Row?

我有一个用例,我想向 Map 对象添加另一个条目。设置如下(使用 Scala 2.13.13 + Spark 3.3.1): val json = ”“” [ { ...

回答 1 投票 0

集群 Spark 在未授予 Notebook 数据访问权限的情况下无法通过 Notebook 写入 _delta_log?

TLDR:为什么我的 Spark 集群无法完成对 Delta 表的写入,除非我的 Jupyter Notebook 能够访问数据位置,这与我对 Spark 应该处理写入的预期相反

回答 1 投票 0

无法连接到 Scylla API 服务器:java.net.ConnectException:MAC OS 上的连接被拒绝(连接被拒绝)

我是 Scylla DB 的新人,我只是使用文档中给出的命令创建节点。 发生的情况是,当我创建两个节点时,无论它们被称为什么,它们碰巧连接到 Scyll...

回答 1 投票 0

Maven 不会将依赖项下载到文件夹

我正在尝试让 mvn 将 Delta Lake 下载到某个目录,以便我可以手动将其挂载到 Spark 中。这样 Spark 应用程序就不必出于安全目的向 mvn 发出 Web 请求,想法...

回答 1 投票 0

循环遍历列列表并丰富数据集

我有一个数据集,我想迭代列列表并使用两个新列(状态和消息)丰富数据集。 如果任何行、任何列为空,则状态应设置为 F...

回答 1 投票 0

添加对 Iceberg 的支持后 Spark Shell 无法工作

我们正在 Iceberg 上进行 POC 并首次对其进行评估。 火花环境: Spark 独立集群设置(1 个主节点和 5 个工作节点) 火花:spark-3.1.2-bin-hadoop3.2 斯卡拉:2.12.10 爪哇:1.8.0_321

回答 1 投票 0

PySpark 错误:java.lang.NoSuchMethodError:'scala.collection.immutable.Seq org.apache.spark.sql.types.StructType.toAttributes()'

我正在尝试从 PySpark 连接到我的 MongoDB 数据库。 $ pyspark --packages org.mongodb.spark:mongo-spark-connector_2.13:10.1.1 我安装的版本: Python 3.9 斯卡拉:2.12.15 火花:3.3.2 在

回答 2 投票 0

在正则表达式列上应用“rlike”?

我希望在列上应用“rlike”函数,但是我希望能够输入列(这是一个正则表达式字符串),而不是标准正则表达式字符串。 IE。 $col1...

回答 2 投票 0

Spark spark-submit --jars 参数需要逗号列表,如何声明 jars 目录?

在 Spark 文档中提交应用程序中,从 1.6.0 及更早版本开始,不清楚如何指定 --jars 参数,因为它显然不是用冒号分隔的类路径,而不是目录扩展...

回答 2 投票 0

Scala:如何对我拥有的使用模拟/存根进行 API 调用的函数进行单元测试?

我有一个函数可以对外部 API 进行 API 调用 假设该函数执行如下简单操作。仅供参考,需要导入 scala.io.Source def myFunction(apiRequestUrl: Str...

回答 2 投票 0

我有 json 文件,其中 1 条记录的结构列为空,并且具有另一条记录的值。我想在 scala 中读取它并创建数据框

我有 json 文件,其中 1 条记录的结构列为空,并且具有另一条记录的值。我想在 scala 和 crate dataframe 中读取它。 我正在使用的代码: var df: DataFrame = Spark.read.option(...

回答 1 投票 0

Scala Slick。如何使用 Case 更改列值

案例类用户(姓名:String,年龄:Int) def changeNameQuery(): Query[UserTable, User, Seq] = { TableQuery[UserTable].map { 用户 => (Case If (user.name === "A") then "B"

回答 2 投票 0

Scala 中有执行块 n 次的简短语法吗?

当我想重复执行n次时,我发现自己编写了这样的代码: 对于(我<- 1 to n) { doSomething() } I'm looking for a shorter syntax like this: n.times(doSomething()) Does

回答 6 投票 0

Scala - 空处理 RDD 行

我正在尝试使用 getInt、getString 访问 RDD 行中的值。该字段也有可能有空值,因此我最终会遇到空指针异常。可以请你让...

回答 1 投票 0

从 if/else 返回 seq

下面是一个假设的例子 - val subject = Seq("物理","数学","英语","化学") val books = Seq("物理", "英语") 瓦尔

回答 2 投票 0

在 Scala 中获取当前的延续

Haskell 有一个获取当前延续的函数 获取CC = 调用CC

回答 0 投票 0

IntelliJ-Spark/Scala 应用程序 - 调试时断点不起作用

我们的应用程序中的 Intellij 2023.1.2 中断点被忽略。它正在使用具有 intellij 2020.2 的旧笔记本电脑中的相同应用程序

回答 1 投票 0

当需要匹配 scala 中 Seq() 的中间元素时如何应用模式匹配

这是一个学习问题而不是编程代码,我有一个序列如下, val inputSeq = Seq("A","B","C","D","E") 所以我想要

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.