EMR Pyspark 在运行 select 语句时看不到计算列

Question

我在 EMR 6.10.1 上托管的托管 pyspark 环境中遇到一个相当奇怪的问题

运行此查询时：

spark.sql("select 1 as a, a+a as b, b+b as d").show()

在本地计算机上，databricks 任何其他 pyspark 实例我都得到了正确的结果。 但是，当我在 EMR 集群上运行该查询时，我得到了

pyspark.sql.utils.AnalysisException: Column 'a' does not exist. Did you mean one of the following ? []

有谁知道哪个设置导致了这种行为？

Answer 1

此功能称为“横向列别名引用”，在 Spark 3.4 中引入。 EMR 6.10 有 Spark 3.3，这就是它引发异常的原因。