Scala是一种通用编程语言，主要针对Java虚拟机。旨在以简洁，优雅和类型安全的方式表达通用编程模式，它融合了命令式和函数式编程风格。其主要特点是：具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发
我的 CSV 文件有超过 30 列，其中一些列代表 json 字符串，例如 - "{""name"": ""value1"",""name2"": &...
无法使用 Spark dataframe 和 scala 创建 CSV，而是创建文件夹名称中包含“.csv”的文件夹
我无法使用 Spark 数据框编写或创建 csv。相反，它为我创建目录。这是我的代码 com.package.dssupplier 包 导入 org.apache.spark.sql.{SaveMode、SparkSessi...
Spark：java.lang.NoClassDefFoundError：scala/collection/mutable/ArraySeq$ofRef
我正在尝试使用 Spark-Submit 运行一个简单的字数统计程序并收到异常。 线程“main”中的异常 java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: 斯卡拉/
如何从 Cask 中的 RawDecorator 返回响应对象
我正在尝试使用 Cask HTTP 框架中的 RawDecorator 来验证 devKey，但我不确定我是否理解当 devKey 无效时如何返回错误响应。这是我正在尝试的： CL...
如何使用猫将 `NonEmptyList[Either[Error, User]]` 转换为 `Either[Error, NonEmptyList[User]]`？
我正在使用cats，想知道如何用它来转换数据： val data = NonEmptyList[任一[错误，用户]] 到 val 目标：Either[Error, NonEmptyList[User]] = howToConvert(data)
如何在 Spark Streaming 作业中查找数据帧的大小
我正在尝试查找每个批次中 Spark 流作业中数据帧的大小。我能够成功地找到批处理作业的大小，但是当涉及到流式传输时，我无法做到......
ZIO 不允许通过重试 Schedule.exponential 来测试效果
第一次重复后测试就挂起 test("测试重试指数") { 为了 { _ <- TestClock.adjust(10.milliseconds) res <- ZIO.fail("fail").retry(Schedule.
我正在将 Yarn 集群上的 Flink 作业的部署模式从会话模式更改为应用程序模式。我有很多相同实施的工作，除了其中两个之外，所有工作都运行良好。 在
将 ADT/密封特征层次结构编码到 Spark DataSet 列中
如果我想在 Spark DataSet 列中存储代数数据类型 (ADT)（即 Scala 密封特征层次结构），最佳编码策略是什么？ 例如，如果我有一个 ADT，其中叶子...
我在类文件中保留一个字符串值。我想在另一个 scala 主函数中获取这个字符串。我如何在主 scala 代码中获取字符串 abc。 包集成.utils 对象模式Stru...
我有一个数据框。如果任何列具有空值，我想引发异常。我可以通过对列名称进行硬编码并放置或检查条件来做到这一点。我怎样才能让它充满活力和表现......
我有一个具有数组列的数据框。它包含值列表以及空值。我想用其他值替换空值。 导入spark.implicits._ val 列=数组("我...
我在scala中写了一些性能关键的代码，并且时不时地遇到如下代码： 变量索引 = 开始 - 1 而{索引+= 1;索引 < end} do something Then I want to write a
我有一个具有两个数组列的数据框。我正在尝试通过将每个值 sep by 合并来将这两列合并为一列。例如，在下面的示例中，主题和标记应该合并并...
如何在 Scala 中创建一个包含 100 行和 3 列且随机整数值在 (1, 100) 范围内的 Spark DataFrame？ 我知道如何手动创建 DataFrame，但无法自动化它： 瓦尔...
错误：scala：Scala 编译器库中没有“scala-library*.jar”
环境：Play 2.3.0/Scala 2.11.1/IntelliJ 13.1 我使用 Typesafe Activator 1.2.1 使用 Scala 2.11.1 创建一个新项目。项目创建后，我运行了 gen-idea。生成的IDEA程序...
使用 JDBC 创建与 Oracle DB 的 apache Spark 连接
我正在尝试使用 Apache Spark 和 scala 创建到我公司的 Oracle 测试服务器的连接。以下是我在 Spark-Shell 中运行的语句。我正在使用 JDK 8 并安装了适当的
从案例类的完全限定名称中获取案例类的引用，用于将数据帧转换为数据集
我有案例类的完全限定名称。对于运行时的用例，我需要获取用于将数据帧转换为数据集的案例类的引用。 例如。 我的 FQN 为：com.org.common。
我有这个特征，我根据需要在我的测试套件中混合： 特征 ValidationMock { def createValidationMock(结果: Either[Error, Unit] = Right(())): 验证 = { val validationMock = 模拟[
为什么start-all.sh从根本原因“无法启动org.apache.spark.deploy.master.Master：JAVA_HOME未设置”？
我正在尝试通过在cloudera Quickstart VM 5.3.0上运行的独立Spark服务来执行通过Scala IDE构建的Spark应用程序。 我的cloudera帐户JAVA_HOME是/usr/java/default