Dataproc版本升级:Classloader预计是URLClassLoader的实例

问题描述 投票:0回答:1

我们一直在 CDF 6.8.2 和 Dataproc 2.0.79-debian10 上运行 Cloud Data Fusion 管道。由于 Dataproc 映像 2.0 即将失去支持,我们正在尝试将 Dataproc 单独升级到 2.1.35-debian11,但不升级 Datafusion。在新的 Dataproc 版本上运行相同的管道时,作业无法在 Dataproc 上启动,并出现以下错误。看来是java兼容性问题。有没有办法让这些版本与一些额外的参数一起工作?

2023-12-22 00:10:28,817 错误runtimejob.DataprocJobMain:线程 Thread[main,5,main] 中未捕获异常 java.lang.reflect.InitationTargetException 在 java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(本机方法) 在 java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.base/java.lang.reflect.Method.invoke(Method.java:566) 在com.google.cloud.hadoop.services.agent.job.shim.HadoopRunClassShim.main(HadoopRunClassShim.java:19) 引起原因:java.lang.RuntimeException:类加载器应该是 URLClassLoader 的实例 在 io.cdap.cdap.runtime.spi.runtimejob.DataprocJobMain.main(DataprocJobMain.java:94) ...还有5个

apache-spark google-cloud-dataproc
1个回答
0
投票

我发现不支持 CDF 6.8.2 作为执行引擎。仅从 6.9.1 开始支持 https://cdap.atlassian.net/browse/CDAP-20543

© www.soinside.com 2019 - 2024. All rights reserved.