使用Cobrix和Java Spark程序解析cobol之类的文件

Question

有人尝试过在 java Spark 程序中运行 Cobrix 吗？我在调用 Cobol 数据源时似乎遇到了一些类/版本不匹配的问题。我在 in github

有一个示例应用程序

当我像下面一样运行 Spark-Submit 时，

spark-submit spark-cobol_2.11-2.6.9-bundle.jar --class com.test.cobol.App --master local target/spark-cobol-jay-1.0-SNAPSHOT.jar

我收到以下错误，

23/12/27 16:45:50 INFO DefaultSource: Cobrix 'spark-cobol' build 2.6.9 (2023-10-16T10:52:47) 
Exception in thread "main" java.lang.NoClassDefFoundError: scala/Product$class
    at za.co.absa.cobrix.cobol.parser.recordformats.RecordFormat$FixedLength$.<init>(RecordFormat.scala:22)

Answer 1

。遇到了 Spark 和 scala 版本之间的版本不匹配问题。我下载的构建文件使用 2.11 scala 版本，而我的程序的其余部分使用 2.12。我已在 [我的 github 页面][1] 修改了有关如何解决此问题的自述文件 [1]：https://github.com/jaysara/spark-cobol-jay