我将代码提交到集群运行，但遇到了以下错误。
''' java.lang.IllegalArgumentException：框架太大：5211883372140375593 在org.sparkproject.guava.base.Preconditions.checkArgument（Preconditions.java:119） 在 org.apache.spark.network.util.TransportFrameDecoder.decodeNext(TransportFrameDecoder.java:148)
'''
我的提交命令是这样的
spark-提交
--master Spark://172.16.244.8:6066
--部署模式集群
--执行器数量 3
--执行器核心 8
--执行器内存 16g
--驱动内存 2g
--conf Spark.default.parallelism=10
--并行计算类
hdfs://172.16.244.5:9000/qlt/portrait-batch-0.0.1-jar-with-dependency.jar
什么原因
原因是因为spark的版本与集群的版本不匹配，可以通过修改本地spark版本与集群一致来解决。
在我的spark项目中我面临同样的问题，我发现我的spark版本是3.3.1，hadoop版本（hadoop-client-runtime）是3.3.2。所以我将 hadoop-client-runtime 版本从 3.3.2 更改为 3.3.1。经过我测试，问题解决了。