scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

Scala 中第 n 个模式匹配的索引

我有一个程序,我试图找到字母“e”第n次出现的索引。我猜到了类似这样的事情... def findE(line: String, 忽略: Int) : Int = { val 模式 = "...

回答 2 投票 0

将 Spark DataFrame 转换为稍微不同的案例类?

我在 HDFS 中有一些数据位于 parquet-protobuf 中。 由于一些项目限制,我想使用 Spark DataFrame 读取该数据(简单),然后转换为略有不同的案例类...

回答 1 投票 0

在 Scala 中使用 Java 枚举时如何解决“非法循环继承”编译错误?

看起来 Scala 编译器无法处理使用静态方法实现接口的枚举,该静态方法捕获枚举类型作为方法参数。 考虑以下接口: //识别...

回答 1 投票 0

计算长整型数据类型范围内的值

我正在学习 scala,并认为这会很简单且直接,但是每次尝试都会导致超过 Int.MaxValue 元素。错误。我正在尝试使用

回答 1 投票 0

将内联方法的字节码保留在生成的 JAR 中

无论如何,我都不是 Scala 开发人员,但我需要在我的 Java 项目中使用一些用 Scala 编写的库。 我可以从该库构建 JAR 并将其用作 Maven 依赖项,从中导入类(d...

回答 1 投票 0

使用spark.conf.set()函数更新Spark属性真的安全吗?

假设我有一个代码: val Spark = SparkSession.builder().master("local").getOrCreate() Spark.conf.set("spark.sql.sources.partitionOverwriteMode", "动态") 瓦尔

回答 1 投票 0

将 Akka GraphDSL 与 Zip 阶段结合使用

考虑以下代码: GraphDSL.create() { 隐式构建器 => 导入 GraphDSL.Implicits._ val in = 源(0 到 10) val fanOut = builder.add(广播[Int](2)) val toString = 构建...

回答 1 投票 0

如何创建数组[T | Null] 其中 T 是一个类型参数,以 `AnyRef` 作为上限

我需要创建一个临时数组[T | Null] 其中 T 是类型参数,以 AnyRef 作为上限。 考虑到数组实现将在擦除后使用 Array[AnyRef],无论 T 是什么,为什么......

回答 1 投票 0

Scala 如何防止 scala 插值字符串模板中出现空行?

我有一个带有一些可选属性的对象,我想在字符串模板中列出这些属性(以某种 JSON 方式)如果属性是 None 我不想看到任何东西,如果它是 Non None 我想是...

回答 1 投票 0

Tapir 验证拒绝未知查询参数

如果我有一个貘端点,有 .in(query[Option[String]])("foo"),并且请求有 ?foobar=baz,是否可以向其添加验证逻辑,这将拒绝请求而不是

回答 1 投票 0

如何在Spark SQL中解析XML?

尝试解析spark sql 2.3.0存储的xml列。 Xml 字符串如下所示: 123 ...

回答 1 投票 0

Spark 无法使用 Spark-xml 提取 rootTag 元素

我想使用Spark(spark-xml版本0.13.0 scala 2.11)从xml文件中提取rootTag元素。但它无法这样做。 例如xml如下: 我想使用 Spark (spark-xml 版本 0.13.0 scala 2.11)从 xml 文件中提取 rootTag 元素。但它无法这样做。 例如xml如下: <?xml version="1.0"?> <catalog> <dt_creation>13-03-2023</dt_creation> <book id="bk101"> <author>Gambardella, Matthew</author> <title>XML Developer's Guide</title> <price>44.95</price> <publish_date>2000-10-01</publish_date> <description> Oracle Streams Advanced Queuing XMLType support. </description></book><book id="bk102"> <price>5.95</price> </book> </catalog> 我想使用 Spark 代码从 rootTag 获取 dt_creation 字段,如下所示: val df = sparkSession.read .format("xml") .option("rootTag", "catalog") .option("rowTag", "book") .load(above-xml-file) df.select("dt_creation").collect() 它导致 AnalysisException@12599“org.apache.spark.sql.AnalysisException: 无法解析给定输入列的“dt_creation”:[描述, 价格、流派、发布日期、标题、_id、作者];; '项目 ['dt_creation] 如何真正提取存在于 rowTag 之外的此类 rootTag 元素? 我认为不可能获取rootTag属性。请参考此问题:https://github.com/databricks/spark-xml/issues/503 您可以在根处读取 rowTag,然后将其分解并展开,如下所示。 df = (spark.read.format("com.databricks.spark.xml") .option("rowTag", "catalog") .load(xmlFile) ) df.printSchema() (df.withColumn("book", explode(col("book"))) .select("dt_creation", "book.*") .show(truncate=False))```

回答 2 投票 0

无法在 Scala 3 中创建 ContextFunction1 的匿名实现

我正在尝试在Scala 3中创建上下文函数的匿名实现。具体来说,代码如下: def mem[E, A](块: Raise[E] ?=> A): Raise[E] ?=> A = new ContextFunc...

回答 1 投票 0

如何在scala数据帧中将Array[Long]转换为Vector类型?

我有这样的数据框: +------+-----+--------------------+---------------- ----+ | ID|标签|时间戳|信号列表| +------+-----+--------------------+---------------- ----+ |

回答 2 投票 0

在 Scala 中转换 JsObject:如何使用可选字段?

我正在尝试创建一个 scala 函数,将 JsObject 转换为具有不同结构的对象。 所有值都是可选的,因此如果它们没有出现在 in...

回答 1 投票 0

使用Swagger注解记录数组类型的请求体

我有一个资源,接受带有数组类型的JSON主体的POST请求,例如: [ {“foo”:“酒吧”}, {“foo”:“baz”}, ... ] 使用 Swagger 注释记录非集合类型...

回答 2 投票 0

Spark:如何将行分组到固定大小的数组中?

我有一个如下所示的数据集: +---+ |col| +---+ |一个| |乙| | c| | d| |电子| | f| |克| +---+ 我想重新格式化这个数据集,以便将行聚合到固定长度的数组中,...

回答 2 投票 0

基于 Actor 的编程语言中的死锁

在 Scala 或 Elixir 这样的基于 Actor 的语言中还会发生死锁吗?如果是,如何检测和避免它们?

回答 3 投票 0

如何使用scala中的烟囱将一个嵌套案例类转换为另一个嵌套案例,该嵌套案例在嵌套类中具有一个额外的字段

打包一个 最终案例类 mySettings(multicache: myCacheSetting, defaultTtlHours: Duration) 最终案例类 myCacheSetting( WeightedRoundrobin:InternalWRRMultiCacheSetting, 尝试:我...

回答 1 投票 0

在sbt任务中加载依赖类

我想在所有 IT 测试之前从 scala 对象运行嵌入式 kafka 作为 Tests.Setup 。 所以,我有类似的东西 测试 / testOptions += Tests.Setup { 加载程序 => loader.loadClass("io.github.

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.