在查询中从数据框中选择一些列,我有一个列类型:map,它有多个属性。我试图从这个列中只选择几个属性,但这会给我一个错误,因为有些属性包含特殊字符,如' - ',此列的其他属性工作正常
例如:
sqlContext.sql("select colA, colB.attribute1 from schema.table")
但是,如果我选择包含 - 的属性,它将失败
sqlContext.sql("select colA, colB.4-TRANSPORT from schema.table")
=>失败
18/08/29 15:21:34 INFO ParseDriver: Parse Completed
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/hdp/2.5.3.16-1/spark/python/pyspark/sql/context.py", line 580, in sql
return DataFrame(self._ssql_ctx.sql(sqlQuery), self)
File "/usr/hdp/2.5.3.16-1/spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 813, in __call__
File "/usr/hdp/2.5.3.16-1/spark/python/pyspark/sql/utils.py", line 51, in deco
raise AnalysisException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.AnalysisException: u"cannot resolve 'TRANSPORT'
我试过双引它等,到目前为止没有运气...
反引号会有所帮助。
sqlContext.sql("select colA, colB.`4-TRANSPORT` from schema.table")
根据评论更新。