Scala是一种通用编程语言，主要针对Java虚拟机。旨在以简洁，优雅和类型安全的方式表达通用编程模式，它融合了命令式和函数式编程风格。其主要特点是：具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发
我正在使用模式覆盖将数据写入表中 由于我的列名中有特殊字符，我需要为列映射设置以下三个属性。 'delta.minReaderVersion' = '2', '
如何将spark中的json字符串插入到postgres中jsonb类型的列中
我必须将 Spark (Scala) 中的 json 字符串插入 Postgres 中 JSONB 类型的列中。我必须单独计算这个字符串，然后将该值作为新列添加到数据框中。所以用了df。
我需要使用 Spark 将 Map（键值对）保存在一列中。需求是其他人可能会使用PIG等其他工具的数据，所以最好用通用格式保存Map
使用 Apache Spark 配置 apache Iceberg
我正在尝试使用 Apache Iceberg 配置 Apache Spark。 但得到这个错误： 线程“main”中的异常java.lang.NoSuchMethodError： 'org.apache.hadoop.hive.metastore.IMetaStoreClient 组织。
假设我在 Scala Spark 中有以下 2 个数据帧： 保存所有已处理记录的数据框： ID 姓名 颜色 处理时间戳 另一个时间戳 1 鲍勃 蓝色的 171057948 171057948 2 爱丽丝 奥拉...
如何使用正则表达式在 sc.textFile 中包含/排除某些输入文件？
我尝试使用文件内的 Apache Spark 过滤出特定文件的日期到 RDD 函数 sc.textFile()。 我尝试执行以下操作： sc.textFile(“/用户/订单/201507(2[...
我有一些 scala 代码抱怨 Trait MapOps 中的方法 + 已被弃用（自 2.13.0 起） 代码创建一个地图 var map : Map[String,Any] = Map() ... 地图 += ("foo" -> "咩&q...
我有这个加特林代码（大部分取自这里：https://github.com/gadling-cql/GadlingCql）： val feeder = Iterator.continually( 地图（ “id”->serialGen(), “随机...
我想这个问题并不是严格针对 Avro4s 的，但这是我的问题：在以下场景中 特质事件 案例类 UserCreated(age: Int) 扩展 Event 案例类 UserDeleted(age: Int)
我有一个案例，我有以下数据框 `scala> res1.printSchema 根 |-- REC：二进制（可空 = true） scala> res1.show(1,false) +----------------------+ |记录...
报告有关未找到源“mongodb”的错误，尽管 sbt 程序集 jar 具有 mongo-spark-connector v10
我想使用spark dataframe连接到mongodb，并制作镶木地板文件。我在 sbt 文件中配置 mongo-spark-connector v10.2.2，它在本地工作。然而，在生产上...
如果这是一个新手问题，我深表歉意，但这正是我对 Scala 的看法。我有这个初始的理解，但我认为在理解中计算matchedAccounts是
在scala中模拟AmazonS3 listObjects函数
我尝试在AmazonS3接口中模拟listObjects函数，以便在运行测试时返回特定对象而不调用s3。 我想测试的代码正在执行以下逻辑： val 对象 =
我正在写一个解析器，比如， 对象我的解析器： def int[$: P]: P[Int] = digital.rep(1).!.map(s => s.toInt) def 数字[$: P]: P[单位] = CharIn("0-9") 现在我想测试一下...
我正在使用 Slick 和 Play，但在尝试更新列值时遇到一些问题，因为它没有被更新，尽管我没有收到任何错误。 我有一个专栏告诉我是否给予...
如何在 sbt 库中为 `1.0.0-M10` 及以上版本设置依赖关系
我想要编写库，它应该与工件一起使用 "org" %% "scanamo" 版本 1.0.0-M10 及以上，例如 1.0.0-M11、1.0.0-RC1、1.0.1。但版本应选择库的用户。 我厌倦了“org”%%“sc...
我为 Scanamo 制作了一个通用的 DynamoFormat，它将任何定义了 Circe 编码器和解码器的对象作为 Json 字符串放入数据库中。 导入 com.gu.scanamo.DynamoFormat 导入 io.circe....
DynamoDB / Scanamo：提供的关键元素与架构不匹配
我一直在尝试通过 Scanamo 库使用 DynamoDB。我的 Scala 代码如下所示： 打包我的.package 导入 com.amazonaws.ClientConfiguration 导入 com.amazonaws.regions.{区域、Reg...
为什么KeyValueGroupedDataset的flatMapGroups在本地运行时给出错误的结果？
KeyValueGroupedDataset 的 flatMapGroups 在本地运行时似乎给出了错误的结果。在 Databricks 笔记本中运行相同的查询时，它会给出正确的结果。有吗
对于 Scala 还很陌生，任何人都可以帮助我解决我需要获取具有最新修改日期的文件的情况。 有两种情况。考虑2个目录， dir1（其中...