AWS Glue 作业有时无法解析给定输入列的“xxx”

Question

当我执行awsglue作业时，在Athena中运行成功的sql查询语句会在这里报错，通过日志看来是他们的单引号有问题。 有谁知道这是怎么回事吗？

pyspark.sql.utils.AnalysisException: cannot resolve '`security_type`' given input columns: []; line 5 pos 0;

'全球限额100 +- '本地限制 100 +- '项目 [测试 AS userid#40，测试 AS 操作#41，测试 AS datapoint_id#42，'security_type AS inv_type#43] +- SubqueryAlias myDataSource +- 逻辑RDD false

Answer 1

无法解析“列名”的原因是sql表中的数据帧中不存在特定的“列名”。

当您在查询中使用双引号（“”）作为列名时，也可能会引发此错误。如果这对您不起作用，您能否提供更多详细信息。

谢谢。

Answer 2

如果您正在运行它，AWS 粘合检查表。您为其创建的表可能处于已弃用状态。删除该表并从头开始创建它。

如果它不起作用，请尝试创建爬虫并提供表前缀名称和数据库名称，它肯定会起作用

Answer 3

www24115。您通过反引号解决了问题吗？我也有同样的问题，但还没找到解决办法。