scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

在我的 Scala 3.4.2 项目中设置并使用 Cats 库进行类型类派生

美好的一天, 我正在使用 Intellij 2024.1.3 和 Oracle OpenJDK 22.0.1 这是我的 build.sbt: 此构建/版本:=“0.1.0-SNAPSHOT” ThisBuild / scalaVersion := "3.4.2" 惰性 val 根 = (

回答 1 投票 0

即使 Spark 任务已完成,Spark 提交纱线客户端模式也会挂起(pyspark 3.4.1)

最近设置了一个 dockerized env 和 CDP,用于在 kereberized hadoop 集群上提交纱线客户端模式 Spark 作业,并看到与应用程序生命周期不一致的行为。设想: 做...

回答 1 投票 0

如何通过--files选项在spark中加载本地csv文件

我有一个小型 csv 文件,其中包含县字典,我想在大型 Spark 作业中使用它。我通过 Spark-submit 的 --files 选项加载此文件: 火花提交--主纱线--

回答 1 投票 0

从测试类调用 main 中的数据集时出现 NullPointerException Spark Scala

我试图从 Test 类中调用在我的 Main Scala 应用程序中定义的函数。该函数返回也在我的主应用程序中定义的类的数据集。 我想要数据...

回答 1 投票 0

flatMap、flatTap、evalMap 和 evalTap 之间的区别

在功能流的 Scala fs2 库中: 我试图理解 flatMap、flatTap、evalMap 和 evalTap 之间的区别。他们似乎都在做同样的事情,那就是转变……

回答 2 投票 0

为什么 Livy 不接受大的 JSON 参数

上下文:我有一个 C# API,它将 HTTP POST 请求发送到 Livy 的 /batches 路由,然后 Livy 将参数转发到我的 Scala Spark 驱动程序。据我所知,Livy 在内部运营 Spark-su...

回答 1 投票 0

Apache Spark:启动 SparkContext 类时出现错误本地类不兼容

嗨,我正在 Spark 网站上运行示例,网址为 http://spark.apache.org/docs/1.2.0/quick-start.html#self-contained-applications 火花版本:spark-1.4.0 SBT版本:0.13.8 我运行了命令“sbt run”...

回答 2 投票 0

Scala:正则表达式上的模式匹配

任务是匹配表达式中的逗号分隔符,不包括数字或空格后面有逗号的情况。 对于此类测试用例,正则表达式必须匹配逗号: “a,b” “a、b、c” “a、b...

回答 1 投票 0

我正在尝试通过递归方法检查列表是否是回文在scala中

对象检查回文{ def main(args: Array[String]): 单位 = { val a:List[Int] = List(1,2,3,4,5,6,5,4,3,2,1) println(is 回文(a)) def isPalindrome(list:List[Int]):Boolean = { 列表垫...

回答 2 投票 0

有什么方法可以访问 Play 框架端点中的 RequestContext 吗?

是否有任何函数或方法可以解决 PlayFramework 中的 RequestContext,其工作方式与 Pekko 的 extractRequestContext 类似? 我正在将旧的 Akka Rest API 迁移到 Play3.0,我需要...

回答 1 投票 0

无法编译从 mllib 扩展的库

我正在使用 apache Spark 和 Maven 开发一个机器学习项目。我为该项目创建了两个库 - 一个名为“rmml”,它通过添加新的 FactorizationMachine 来扩展 Spark mllib 库

回答 1 投票 0

无法编译scala&java项目。无法找到暂时依赖项

我有一种强烈的感觉,我错过了一些东西。 我正在尝试在工作中编译 Java&Scala 项目。幸运的是,我能够在一个简单的虚拟项目上拒绝我的问题。 我正在使用 scala-maven-

回答 1 投票 0

Scala 泛型类型

我在那里,我正在尝试将命令和责任链模式与 Scala 风格结合起来。 基本上,我希望有一个执行者通过链传递命令并返回...

回答 1 投票 0

从测试类调用 Main 中的数据集时出现 NullPointError Spark Scala

我试图从 Test 类中调用在我的 Main Scala 应用程序中定义的函数。该函数返回也在我的主应用程序中定义的类的数据集。 我想要数据...

回答 1 投票 0

在 Spark GraphX 中实现拓扑排序

我正在尝试使用 Spark 的 GraphX 库实现拓扑排序。 这是我到目前为止编写的代码: MyObject.scala 导入 java.util.ArrayList 导入 scala.collection.mutable.Queue 我...

回答 3 投票 0

如何将 Scala Spark Dataset.show 重定向到 log4j 记录器

Spark API 文档展示了如何从发送到 stdout 的数据集或数据帧中获取漂亮的打印片段。 可以将此输出定向到 log4j 记录器吗? 或者:有人可以分享代码吗

回答 3 投票 0

使用 Spark scala 加速将数据保存到 S3 存储桶

我正在寻找一些指针,通过它们可以加快数据持久保存到 S3 的速度。因此,我目前根据以下示例路径将数据持久保存到 s3 存储桶 s3://

回答 1 投票 0

Scala中如何通过1次操作提取匹配对象?

我有以下代码: foo 收集第一 { case x if check(昂贵(x)) => do_something(昂贵(x)) } 为了防止昂贵()被调用两次,我可以这样做: 物体

回答 1 投票 0

java.lang.OutOfMemoryError:UTF16字符串大小超过默认值

我试图从网址加载 tsv 文件(最大文件大小为 1.05 GB 或 1129672402 字节) 我使用了 java.net.URL 。 但是,它抛出了以下错误(对于最大的错误)- java.lang.OutOfMemoryEr...

回答 1 投票 0

Apache Spark:如何取消代码中的作业并终止正在运行的任务?

我正在 Hadoop 集群上运行 Spark 应用程序(版本 1.6.0),并在客户端模式下使用 Yarn(版本 2.6.0)。我有一段运行长时间计算的代码,如果需要的话我想杀死它......

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.