scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

Tapir 验证拒绝未知查询参数

如果我有一个貘端点,有 .in(query[Option[String]])("foo"),并且请求有 ?foobar=baz,是否可以向其添加验证逻辑,这将拒绝请求而不是

回答 1 投票 0

如何在Spark SQL中解析XML?

尝试解析spark sql 2.3.0存储的xml列。 Xml 字符串如下所示: 123 ...

回答 1 投票 0

Spark 无法使用 Spark-xml 提取 rootTag 元素

我想使用Spark(spark-xml版本0.13.0 scala 2.11)从xml文件中提取rootTag元素。但它无法这样做。 例如xml如下: 我想使用 Spark (spark-xml 版本 0.13.0 scala 2.11)从 xml 文件中提取 rootTag 元素。但它无法这样做。 例如xml如下: <?xml version="1.0"?> <catalog> <dt_creation>13-03-2023</dt_creation> <book id="bk101"> <author>Gambardella, Matthew</author> <title>XML Developer's Guide</title> <price>44.95</price> <publish_date>2000-10-01</publish_date> <description> Oracle Streams Advanced Queuing XMLType support. </description></book><book id="bk102"> <price>5.95</price> </book> </catalog> 我想使用 Spark 代码从 rootTag 获取 dt_creation 字段,如下所示: val df = sparkSession.read .format("xml") .option("rootTag", "catalog") .option("rowTag", "book") .load(above-xml-file) df.select("dt_creation").collect() 它导致 AnalysisException@12599“org.apache.spark.sql.AnalysisException: 无法解析给定输入列的“dt_creation”:[描述, 价格、流派、发布日期、标题、_id、作者];; '项目 ['dt_creation] 如何真正提取存在于 rowTag 之外的此类 rootTag 元素? 我认为不可能获取rootTag属性。请参考此问题:https://github.com/databricks/spark-xml/issues/503 您可以在根处读取 rowTag,然后将其分解并展开,如下所示。 df = (spark.read.format("com.databricks.spark.xml") .option("rowTag", "catalog") .load(xmlFile) ) df.printSchema() (df.withColumn("book", explode(col("book"))) .select("dt_creation", "book.*") .show(truncate=False))```

回答 2 投票 0

无法在 Scala 3 中创建 ContextFunction1 的匿名实现

我正在尝试在Scala 3中创建上下文函数的匿名实现。具体来说,代码如下: def mem[E, A](块: Raise[E] ?=> A): Raise[E] ?=> A = new ContextFunc...

回答 1 投票 0

如何在scala数据帧中将Array[Long]转换为Vector类型?

我有这样的数据框: +------+-----+--------------------+---------------- ----+ | ID|标签|时间戳|信号列表| +------+-----+--------------------+---------------- ----+ |

回答 2 投票 0

在 Scala 中转换 JsObject:如何使用可选字段?

我正在尝试创建一个 scala 函数,将 JsObject 转换为具有不同结构的对象。 所有值都是可选的,因此如果它们没有出现在 in...

回答 1 投票 0

使用Swagger注解记录数组类型的请求体

我有一个资源,接受带有数组类型的JSON主体的POST请求,例如: [ {“foo”:“酒吧”}, {“foo”:“baz”}, ... ] 使用 Swagger 注释记录非集合类型...

回答 2 投票 0

Spark:如何将行分组到固定大小的数组中?

我有一个如下所示的数据集: +---+ |col| +---+ |一个| |乙| | c| | d| |电子| | f| |克| +---+ 我想重新格式化这个数据集,以便将行聚合到固定长度的数组中,...

回答 2 投票 0

基于 Actor 的编程语言中的死锁

在 Scala 或 Elixir 这样的基于 Actor 的语言中还会发生死锁吗?如果是,如何检测和避免它们?

回答 3 投票 0

如何使用scala中的烟囱将一个嵌套案例类转换为另一个嵌套案例,该嵌套案例在嵌套类中具有一个额外的字段

打包一个 最终案例类 mySettings(multicache: myCacheSetting, defaultTtlHours: Duration) 最终案例类 myCacheSetting( WeightedRoundrobin:InternalWRRMultiCacheSetting, 尝试:我...

回答 1 投票 0

在sbt任务中加载依赖类

我想在所有 IT 测试之前从 scala 对象运行嵌入式 kafka 作为 Tests.Setup 。 所以,我有类似的东西 测试 / testOptions += Tests.Setup { 加载程序 => loader.loadClass("io.github.

回答 1 投票 0

ZIO#memoize 在服务中

我正在设计一个 ZIO 服务。我必须在其内部逻辑中使用记忆化。我怎样才能做到这一点? 例如,如果服务的一个方法(或所有方法)需要某种授权......

回答 1 投票 0

fastparse 的空白警告

我用 fastparse 编写了几个解析器,它非常成功,但最近我在 Visual Studio 代码中收到来自 SBT 的构建警告。 我想忽略空格,所以我有导入

回答 1 投票 0

如何访问scala匹配表达式之外的变量?

如何访问scala匹配表达式之外的变量“test”?即使我声明为 var,它也不会返回测试变量的更新值。 值 x:整数 = 2 var 测试=空 x 匹配...

回答 1 投票 0

涉及泛型和精炼类型的 Scala 类型不匹配错误

以下是我试图解决的类型不匹配错误的简化版本: 特征 Foo[A] { B型 值 b:B } 特征栏[T,R[_]] { 值 r: R[T] } 对象类型不匹配扩展应用程序{ d...

回答 1 投票 0

Skunk - Scala - 多参数查询出错

我收到以下代码错误 导入 br.com.gbtech.model.PaymentRequestItem 导入 cats.effect.{IO,资源} 导入 skunk.codec.all.* 导入 skunk.implicits.* 导入臭鼬。{查询,Sess...

回答 2 投票 0

在 Chisel 中使用 `reduce(_ ## _) ` 进行 IndexedSeq 到 UInt 转换是件好事吗?

对于一个小的Chisel项目,我使用reduce(_ ## _)函数将IndexedSeq转换为UInt。 类 PdChain(n: Int = 4) 扩展模块 { val io = IO(新捆绑{ val 计数 = 输出(UInt(n.W...

回答 2 投票 0

当尝试使用 Shapeless 将 Map 转换为 scala 对象时,编译器不会拾取余积导数

我正在尝试将 Map[String, AttributeValue] 转换为 Scala 对象。 AttributeValue 表示 DynamoDB 中的数据。下面存根中的 FromAttributeValue 用于转换基本情况 以下是鳕鱼...

回答 1 投票 0

scala skunk 多参数查询:将列表作为参数传递给准备好的语句

我想使用以下sql查询数据库表 val ALL_BY_ID: 查询[列表[字符串] *: Int *: EmptyTuple, Store] = sql"""SELECT id、名称、描述、帐户、输入日期 ...

回答 1 投票 0

同一 Kinesis 流的多个不同消费者

我有一个 Kinesis 生产者,它将单一类型的消息写入流。我想在多个完全不同的消费者应用程序中处理这个流。因此,具有单个 publi 的 pub/sub...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.