如何在不使用胶水的情况下以编程方式将镶木地板数据从S3加载到Athena

问题描述 投票:1回答:1

我在S3位置有拼花数据,需要加载到Athena进行查询。但我不想从Web UI手动加载或手动运行查询。我们可以通过运行代码并传递S3位置以编程方式执行此操作吗?

我不想使用胶水,因为它并非在所有地区都可用。你可以帮我用代码来做这件事,因为我对Athena很新。

amazon-s3 amazon-athena
1个回答
1
投票

为了从Athena查询您的S3数据,您只需要告诉Athena数据位置以及有关列,数据类型,文件格式等的详细信息。为了清楚起见,没有“加载” - Athena逐字地访问S3文件。如果您更改这些基础文件,那么Athena将相应更改。

而不是“加载”到Athena,最好考虑使用Athena注册您的数据。您可以通过创建外部表来完成此操作。这个答案有一个很好的例子。 How to Query parquet data from Amazon Athena?

如果您不知道创建外部表的正确语法,我建议您使用Glue的能力将该数据定义创建为一次性练习。在那里,您可以在Athena中运行SHOW CREATE TABLE my_table,它将显示为创建表而执行的语句。

为了使用Athena,通常不需要胶水 - 这是一种简单的入门方式,但这只是需要时间,增加复杂性等的另一个步骤。

© www.soinside.com 2019 - 2024. All rights reserved.