使用Lambda在Athena上运行大型查询

Question

[我们知道Lambda在执行15分钟后就会超时。我正在寻找一种执行庞大数据集上的Athena查询的方法。从Lambda调用查询将引入Lambda在处理查询之前超时的问题。我的最终目标是调用查询并知道查询何时完成，以便我可以处理结果。可以使用状态机查询雅典娜吗？还是Lambda通过仅调用雅典娜而不等待结果而起作用，我将在查询运行的持续时间之后查询雅典娜以获取结果？任何其他想法将不胜感激。

Answer 1

使用Athena，您启动查询，并返回唯一的Athena查询执行ID。雅典娜异步执行查询。雅典娜最终将查询结果存储在S3中。您可以稍后通过传入原始查询执行ID的第二个API调用来检索这些结果。

请参见Working with Query Results, Output Files, and Query History。