Spark：线程“main”org.apache.spark.sql.catalyst.errors.package中的异常

Question

在运行我的spark-submit代码时，执行时出现此错误。

执行连接的Scala文件。

我只是想知道这个TreeNodeException错误是什么。

为什么我们有这个错误？

请分享您对此TreeNodeException错误的想法：

Exception in thread “main” org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:

Answer 1

我也在加入数据帧时遇到了这个异常

Exception in thread “main” org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:

为了解决这个问题，我简单地颠倒了连接的顺序。也就是说，我没有做df1.join（df2，on_col =“A”），而是做了df2.join（df1，on_col =“A”）。不知道为什么会这样，但我的直觉告诉我，当你使用前一个命令而不是后一个命令时，Spark必须遵循的逻辑树是混乱的。您可以将其视为Spark在我的玩具示例中使用列“A”进行比较以加入两个数据帧的次数。我知道这不是一个明确的答案，但我希望它有所帮助。