在Hive中始终需要两个表(本地,外部)从AWS EMR中查询DynamoDB表吗?

问题描述 投票:0回答:1

从AWS EMR查询DynamoDB表是否总是需要两个配置单元表(本地,外部)?

我已经使用映射到DynamoDB表的配置单元外部表创建了本地配置单元表(CTAS,将表创建为select)。我对外部表的(读取)查询时间很慢,并且与本地表相比,它消耗了读取吞吐量,并且不消耗读取吞吐量。

我的问题:

  1. 这是标准做法/最佳做法,即创建映射到dynamodb表的外部表,然后创建CTAS并针对所有读取的查询用例针对CTAS进行查询吗?

  2. dynamodb上的GSI在哪里或如何在事物的蜂巢面出现?出于这种好奇心,我尝试将我的外部配置单元表列映射到dynamodb GSI和一些预期会看到NULL的映射。因此,回到第二个问题是想知道如何将GSI与本地或外部配置单元表一起使用?

谢谢,

hive amazon-dynamodb amazon-emr
1个回答
0
投票

答案为否。但是,从我的观察来看,是否通过引用DynamoDb表的配置单元外部表支持配置单元本机表数据(CTAS):如果要从EMR中查询配置单元本机表,则不考虑读取数据。如果要考虑到配置单元本机表的定期更新(刷新数据)。

© www.soinside.com 2019 - 2024. All rights reserved.