amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

已创建 AWS Athena 表,但未填充数据

AWS 的新手并尝试使用数据库表注册 Athena 以填充我已上传到 S3 存储桶的 CSV 文件中的数据。 这是我的代码片段: # 要执行的SQL语句 状态...

回答 0 投票 0

AWS Athena 为什么单行或其列的大小不能超过 32 MB select * from tableName 错误,但不是 where 条件

当我运行 select * from tableName 时,我在 AWS Athena 中遇到以下错误: 您的查询有以下错误: [ErrorCategory:USER_ERROR, ErrorCode:DATA_ERROR], 详细信息:单个行或其列的大小...

回答 2 投票 0

CAST(日期字符串)|不工作 | AWS 雅典娜

在创建外部表并将“unformattedDate”指定为字符串后,我无法使用函数 CAST(string as date) 这是我的创建表: 如果临时表不存在则创建外部表 (

回答 1 投票 0

HIVE_PARTITION_SCHEMA_MISMATCH double vs int

尝试使用 Athena 查询 s3 中的某些数据时,我遇到了 HIVE_PARTITION_SCHEMA_MISMATCH。数据是 json 对象的文件。 我使用胶水爬虫创建了一个表,它解释了一个...

回答 0 投票 0

AWS Athena 显示不正确的十进制值

源 csv 文件具有此列值 = 1 我们使用 Informatica 将此文件作为镶木地板文件加载到 AWS S3 中,并将此输出列设为 decimal(38,10) parquet 文件中显示的值为 1.00 我们

回答 0 投票 0

boto3 get_query_runtime_statistics 有时不返回“行”数据

我有一个 lambda,它试图找出以前执行的 athena 查询是否返回了任何行。为此,我使用了 boto3 函数 get_query_runtime_statistics 然后额外...

回答 1 投票 0

有没有办法查询每个前缀的最新 S3 对象键名称?

在 S3 存储桶中,我存储了成千上万个文件,其名称的结构归结为前缀和数字: A-0001 A-0002 A-0003 B-0001 B-0002 C-0001 C-0002 C-0003 C-0004 C……

回答 3 投票 0

SQL比较两个表中的多列并输出新的比较结果列

我有两个表,我想比较表中的多个列。然后,我想为每个列比较输出一个比较结果列。 表 1 (t1) ID 性别 年龄 状态 1个 米 15 加州 2个 ...

回答 1 投票 0

如何根据 ID 筛选最大日期? SQL 问题

选择 类型, Sum(CASE WHEN Status IN ('Open', 'Pending') then 1 else 0 end ) 未解决 来自 ticket_table 按类型分组 按类型 asc 排序 有一列叫做 ticket_ID 和

回答 1 投票 0

AWS Athena 上的访问被拒绝

当我在 AWS Athena 上运行一个简单的 select * 查询时,我收到拒绝访问错误。 查询是: 从 sensor.sensordata 中选择 * 架构是: 创建外部表 sensor.sensordata ( 信号强度...

回答 5 投票 0

在 Glue/Athena 中重新映射列标题的最简单方法?

Data 具有 _col_0、_col_1 等标题。我有一个示例数据文件,其中包含正确的列标题。 但是,所有数据都在约 250 个文件中的 snappy/parquet 中。 最简单的方法是什么...

回答 2 投票 0

选择随机行,使得子组列的组合是唯一的

从包含 a、b、c、d 和 e 列的 my_table 中,我想随机选择 N 行,以便 a、b 和 c 列的组合是唯一的。 我尝试通过以下方式与一个小组一起解决这个问题: 选择 a, b, c, min(d), m...

回答 2 投票 0

使用程序从雅典娜表创建视图

我在 Athena 中有 100 多个表,例如 table1,table2 等等。 一旦我在 Athena 中自动拥有任何表(使用任何程序或脚本),有什么方法可以创建通用视图? 对于

回答 0 投票 0

如何忽略 SQL (Athena) 查询中的行解析错误

我们正在尝试将 Athena 查询发布到外部 S3 文件,一切正常,但现在数据有一个损坏的行,其中的日期格式错误。这炸毁了我们试图放置的系统...

回答 1 投票 0

AWS Glue Crawler 为每个活泼的镶木地板文件创建一个表

我在搜索时看到了类似的问题,我已将我的 AWS Glue 爬虫配置调整为: 通过 exc 排除名为“支持文档”的目录(其中包含关于数据的 pdf 和 csv)...

回答 1 投票 0

在 Athena 上使用 boto3 获取扫描数据

我使用 Boto3 来执行 Athena 查询。 我的代码如下所示: athena_client = boto3.client('athena') # 开始查询 query_execution = athena_client.start_query_execution( 查询字符串=

回答 0 投票 0

如何获取 Athena 表的最后访问时间

目前我们在 Athena 中确实有 500 多个表位于不同的数据库下。目前我们正计划放弃超过 120 天未使用的桌子,为此我正在寻找 ...

回答 1 投票 0

如何使用表中的列之一作为键从表中进行选择和映射?

鉴于表主要: 美国广播公司 pqr 价格 郎 你好 你好 2.34 en_de 世界 红肿 1.23 en_de 咖啡 咖啡店 9.23 en_fr 和一张看起来像的地图: 与映射 AS ( 选择地图( 阵列['en_fr ...

回答 2 投票 0

Athena 中读取的 Delta 表

我在 Athena 中有一个分区表。该表每 5 分钟提取一次数据。这让我每天在一个分区中摄取大约 288 个文件。在第 + 1 天,我运行了一个过程来 coa...

回答 0 投票 0

当字段值中存在逗号时,无法从 Athena 中的 S3 CSV 正确读取浮点值

我目前在 AWS S3 中有一个 csv,目前看起来像这样: msa_code,msa_name,state_code,year,month,date,value,series_id 10180,"德克萨斯州阿比林",48,2022,12 月,"2022 年 12 月 1 日&q...

回答 0 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.