scala 相关问题

使局部使用可变性变得纯粹的函数吗？

我是 Scala、FP 和一般编程的初学者。我试图理解什么时候某些东西可以被称为正确的 FP。 如果我们说函数式编程是将函数链接在一起，那么

如何在Spark中不读取输出表的情况下查看DataFrameWriter save()的最终写入结果？

现在我使用Scala + Spark将我的DataFrame: df写入KustoCluster，我刚刚发现DataFrameWriter.save()没有回调选项，这是我的代码 var writer = df.wr...

如何计算Spark作业中的核心数、执行器数、内存量

有人可以帮我找到 Spark 中的核心数、执行器数、内存数等。 我正在使用开源 apache Spark 集群 以下是我的配置 - 总共 6 个节点（1 个主节点和 5 个从节点）。 3...

在失败的 akka 流上跳过流程

我不想在不丢失发生故障时发送的数据的情况下跳过流程。但我找不到办法做到这一点。这是我用来测试的示例代码。 val 决策者：Supervision.Dec...

如何使用doobie实现错误处理

覆盖 def getUser(uuid: UUID): F[Either[String, User]] = { val query = sql"""从“用户”中选择电子邮件、密码，其中“userId”= $uuid """ ...

ZIO Quill：找不到类型模型的隐式 SchemaMeta。Pet

我目前正在使用 ZIO 和 Quill 开发宠物商店应用程序。作为学习过程的一部分，我建立了一个本地 H2 数据库并将其配置为存储宠物信息。然而，我遇到了...

如何从Spark UDF返回Row？

我有一个用例，我想向 Map 对象添加另一个条目。设置如下（使用 Scala 2.13.13 + Spark 3.3.1）： val json = ”“” [ { ...

集群 Spark 在未授予 Notebook 数据访问权限的情况下无法通过 Notebook 写入 _delta_log？

TLDR：为什么我的 Spark 集群无法完成对 Delta 表的写入，除非我的 Jupyter Notebook 能够访问数据位置，这与我对 Spark 应该处理写入的预期相反

无法连接到 Scylla API 服务器：java.net.ConnectException：MAC OS 上的连接被拒绝（连接被拒绝）

我是 Scylla DB 的新人，我只是使用文档中给出的命令创建节点。 发生的情况是，当我创建两个节点时，无论它们被称为什么，它们碰巧连接到 Scyll...

Maven 不会将依赖项下载到文件夹

我正在尝试让 mvn 将 Delta Lake 下载到某个目录，以便我可以手动将其挂载到 Spark 中。这样 Spark 应用程序就不必出于安全目的向 mvn 发出 Web 请求，想法...

循环遍历列列表并丰富数据集

我有一个数据集，我想迭代列列表并使用两个新列（状态和消息）丰富数据集。 如果任何行、任何列为空，则状态应设置为 F...

添加对 Iceberg 的支持后 Spark Shell 无法工作

我们正在 Iceberg 上进行 POC 并首次对其进行评估。 火花环境： Spark 独立集群设置（1 个主节点和 5 个工作节点） 火花：spark-3.1.2-bin-hadoop3.2 斯卡拉：2.12.10 爪哇：1.8.0_321

PySpark 错误：java.lang.NoSuchMethodError：'scala.collection.immutable.Seq org.apache.spark.sql.types.StructType.toAttributes()'

我正在尝试从 PySpark 连接到我的 MongoDB 数据库。 $ pyspark --packages org.mongodb.spark:mongo-spark-connector_2.13:10.1.1 我安装的版本： Python 3.9 斯卡拉：2.12.15 火花：3.3.2 在

在正则表达式列上应用“rlike”？

我希望在列上应用“rlike”函数，但是我希望能够输入列（这是一个正则表达式字符串），而不是标准正则表达式字符串。 IE。 $col1...

Spark spark-submit --jars 参数需要逗号列表，如何声明 jars 目录？

在 Spark 文档中提交应用程序中，从 1.6.0 及更早版本开始，不清楚如何指定 --jars 参数，因为它显然不是用冒号分隔的类路径，而不是目录扩展...

Scala：如何对我拥有的使用模拟/存根进行 API 调用的函数进行单元测试？

我有一个函数可以对外部 API 进行 API 调用 假设该函数执行如下简单操作。仅供参考，需要导入 scala.io.Source def myFunction(apiRequestUrl: Str...

我有 json 文件，其中 1 条记录的结构列为空，并且具有另一条记录的值。我想在 scala 中读取它并创建数据框

我有 json 文件，其中 1 条记录的结构列为空，并且具有另一条记录的值。我想在 scala 和 crate dataframe 中读取它。 我正在使用的代码： var df: DataFrame = Spark.read.option(...

Scala Slick。如何使用 Case 更改列值

案例类用户（姓名：String，年龄：Int） def changeNameQuery(): Query[UserTable, User, Seq] = { TableQuery[UserTable].map { 用户 => (Case If (user.name === "A") then "B"

Scala 中有执行块 n 次的简短语法吗？

当我想重复执行n次时，我发现自己编写了这样的代码： 对于（我<- 1 to n) { doSomething() } I'm looking for a shorter syntax like this: n.times(doSomething()) Does

Scala - 空处理 RDD 行

我正在尝试使用 getInt、getString 访问 RDD 行中的值。该字段也有可能有空值，因此我最终会遇到空指针异常。可以请你让...