scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

当模式与类的泛型参数匹配时,模式类型不兼容

为什么类的泛型构造函数参数的模式匹配失败,而方法的泛型参数的模式匹配成功? 我有一个类型类 Ev: 密封性状 Ev[T] 案例对象 EvInt 扩展 E...

回答 1 投票 0

Akka Streams:如何使用 GraphDSL 构建源中源?

这是一个简单的场景。 让我们从单个 Akka 源开始:比方说,从数据库检索的行。基于分区函数,不同的行需要被转移到不同的...

回答 2 投票 0

将 OpenCV 库链接到 Scala 项目

我一直在尝试运行一个使用 OpenCV 库的 Scala 项目。我正在使用 Maven 构建项目,在 pom.xml 文件中我有以下依赖项: 我一直在尝试运行一个使用 OpenCV 库的 Scala 项目。我正在使用 Maven 构建项目,在 pom.xml 文件中我有以下依赖项: <dependency> <groupId>org.openpnp</groupId> <artifactId>opencv</artifactId> <version>4.9.0</version> </dependency> 在代码中我还包含以下行: System.loadLibrary(Core.NATIVE_LIBRARY_NAME) 但是当我运行该项目时,出现以下错误: Exception in thread "main" java.lang.UnsatisfiedLinkError: no opencv_java490 in java.library.path 另外,我尝试运行的应用程序使用 Spark,我想知道是否有必要在集群的每个节点上加载库,或者一旦加载到主节点中,不同的节点将能够使用 OpenCV 类实施。 如果这个问题可能很愚蠢,我很抱歉,我一直在尝试自己寻找解决方案,但我缺乏知识使我无法理解真正的问题是什么。感谢任何愿意努力回答的人,如果您也能解释问题,我将非常感激。 请注意,我已经尝试通过构建一个胖罐子(带有依赖项的罐子)来解决该问题,但我仍然遇到相同的错误。我一直在尝试寻找解决方案,据我了解,问题可能是 OpenCV 库不在我正在使用的系统中。事实上,我读到人们建议使用绝对路径链接库: System.loadLibrary("path/to/library.so") 我一直在尝试查找预编译的 .so 文件,但找不到(我无法在我正在使用的计算机上使用 cmake,因为我通过 ssh 连接并且没有下载工具的权限)。我正在考虑在本地计算机上编译源代码,然后将文件传输到远程计算机,但是,正如您可能已经理解的那样,此时我不确定我在做什么。 编辑: 在 @dmytro-mitin 的建议之后,我能够修复之前的错误。但现在我发现添加 System.loadLibrary(Core.NATIVE_LIBRARY_NAME) 并没有解决我之前遇到的运行时错误,即: Caused by: java.lang.UnsatisfiedLinkError: org.opencv.core.Mat.n_Mat()J 您是否考虑过通过 JavaCV 包装器项目使用 OpenCV? https://github.com/bytedeco/javacv 在 build.sbt 文件中,您可以执行以下操作: libraryDependencies += "org.bytedeco" % "javacv-platform" % "1.5.9", 起初我认为这并不重要,所以我没有提及它,但我正在使用 Apache Spark 将应用程序分发到不同的节点上。问题是,虽然可以在主节点上找到库,但每个笔记都无法找到 OpenCV 的实现。我添加了以下几行: nu.pattern.OpenCV.loadShared() System.loadLibrary(org.opencv.core.Core.NATIVE_LIBRARY_NAME) 在映射到不同节点的函数中,现在它可以工作了。

回答 2 投票 0

Scala 中选项模式匹配何时优化至 if 语句?

这是 Option 的 ifA 函数,使用 if 语句编写: def ifA[A](fcond: 选项[布尔值])(ifTrue: 选项[A], ifFalse: 选项[A]): 选项[A] = if (fcond.isDefined) { 如果 (fcond.get) ...

回答 1 投票 0

IntelliJ IDEA + Scala:如何轻松导航到损坏的测试

我在 Scala 测试中有这样的构造: 类 ExpressionsTest 扩展 AnyFunSpec { 描述(“简单文字”){ 描述(“有效”){ 它(“123”){ ...

回答 1 投票 0

Spark:用spark绘制模型的学习曲线

我正在使用 Spark,我想训练一个机器学习模型。 由于结果不好,我想显示模型在训练的每个时期所犯的错误(在训练和测试数据上......

回答 2 投票 0

如何 .collect_list() 而无需在 scala Spark 中键入每个列名称

我想使用 .collect_list() ,而不必键入/粘贴每个列标题作为输入,因为我的数据有太多列标题,无法简单地键入或粘贴。如何输入多...

回答 1 投票 0

使局部使用可变性变得纯粹的函数吗?

我是 Scala、FP 和一般编程的初学者。我试图理解什么时候某些东西可以被称为正确的 FP。 如果我们说函数式编程是将函数链接在一起,那么

回答 1 投票 0

如何在Spark中不读取输出表的情况下查看DataFrameWriter save()的最终写入结果?

现在我使用Scala + Spark将我的DataFrame: df写入KustoCluster,我刚刚发现DataFrameWriter.save()没有回调选项,这是我的代码 var writer = df.wr...

回答 1 投票 0

如何计算Spark作业中的核心数、执行器数、内存量

有人可以帮我找到 Spark 中的核心数、执行器数、内存数等。 我正在使用开源 apache Spark 集群 以下是我的配置 - 总共 6 个节点(1 个主节点和 5 个从节点)。 3...

回答 1 投票 0

在失败的 akka 流上跳过流程

我不想在不丢失发生故障时发送的数据的情况下跳过流程。但我找不到办法做到这一点。这是我用来测试的示例代码。 val 决策者:Supervision.Dec...

回答 1 投票 0

如何使用doobie实现错误处理

覆盖 def getUser(uuid: UUID): F[Either[String, User]] = { val query = sql"""从“用户”中选择电子邮件、密码,其中“userId”= $uuid """ ...

回答 1 投票 0

ZIO Quill:找不到类型模型的隐式 SchemaMeta。Pet

我目前正在使用 ZIO 和 Quill 开发宠物商店应用程序。作为学习过程的一部分,我建立了一个本地 H2 数据库并将其配置为存储宠物信息。然而,我遇到了...

回答 1 投票 0

如何从Spark UDF返回Row?

我有一个用例,我想向 Map 对象添加另一个条目。设置如下(使用 Scala 2.13.13 + Spark 3.3.1): val json = ”“” [ { ...

回答 1 投票 0

集群 Spark 在未授予 Notebook 数据访问权限的情况下无法通过 Notebook 写入 _delta_log?

TLDR:为什么我的 Spark 集群无法完成对 Delta 表的写入,除非我的 Jupyter Notebook 能够访问数据位置,这与我对 Spark 应该处理写入的预期相反

回答 1 投票 0

无法连接到 Scylla API 服务器:java.net.ConnectException:MAC OS 上的连接被拒绝(连接被拒绝)

我是 Scylla DB 的新人,我只是使用文档中给出的命令创建节点。 发生的情况是,当我创建两个节点时,无论它们被称为什么,它们碰巧连接到 Scyll...

回答 1 投票 0

Maven 不会将依赖项下载到文件夹

我正在尝试让 mvn 将 Delta Lake 下载到某个目录,以便我可以手动将其挂载到 Spark 中。这样 Spark 应用程序就不必出于安全目的向 mvn 发出 Web 请求,想法...

回答 1 投票 0

循环遍历列列表并丰富数据集

我有一个数据集,我想迭代列列表并使用两个新列(状态和消息)丰富数据集。 如果任何行、任何列为空,则状态应设置为 F...

回答 1 投票 0

添加对 Iceberg 的支持后 Spark Shell 无法工作

我们正在 Iceberg 上进行 POC 并首次对其进行评估。 火花环境: Spark 独立集群设置(1 个主节点和 5 个工作节点) 火花:spark-3.1.2-bin-hadoop3.2 斯卡拉:2.12.10 爪哇:1.8.0_321

回答 1 投票 0

PySpark 错误:java.lang.NoSuchMethodError:'scala.collection.immutable.Seq org.apache.spark.sql.types.StructType.toAttributes()'

我正在尝试从 PySpark 连接到我的 MongoDB 数据库。 $ pyspark --packages org.mongodb.spark:mongo-spark-connector_2.13:10.1.1 我安装的版本: Python 3.9 斯卡拉:2.12.15 火花:3.3.2 在

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.