amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

仅从表中获取最新记录

尝试查询 Athena 中的数据库;该信息是按快照日期大批量记录的,因此一个“节点”将具有多个重复条目 - 例如 节点 领域 快照日期 诺德亚 不适用 2022年2月21日 ...

回答 1 投票 0

AWS Glue/Athena:组合许多小型镶木地板文件以提高性能

我有一个用例如下: IoT 设备正在将许多小文件上传到 AWS S3 输入存储桶中。上传后,每个文件都会由 AWS Lambda 函数处理以解码数据并...

回答 1 投票 0

AWS Athena 支持集合操作吗?

尝试使用集合操作,但似乎在 Athena 中不起作用。是不支持还是SQL有问题? 从 xbrl 中选择不同的 cik 减 从 xbrl 中选择 cik 哪一年 (2015,2...

回答 2 投票 0

SQL 查找 varchar 类型列中多次出现的子字符串及其值

我使用 Athena 作为数据库表。我想解析表订单中名为“line_items”的列。因此,订单表中的每一行都包含一个客户订单,并且 line_items 包含所有

回答 1 投票 0

AWS Glue/Athena:如果在查询中不使用分区,它们是否有助于查询性能?

我们有一个用例如下: IoT 设备将数据上传到 S3。这里,AWS Lambda 函数对数据进行解码并将结果作为 parquet 文件写入另一个 S3 存储桶中。结构如下...

回答 1 投票 0

Unnest 和 split 函数在 pyspark SQL 中返回错误

我有一个在 Presto 格式下运行良好的查询(在 Athena 中执行时)。但是,当我在 AWS Glue 中运行相同的查询(通过 Python Spark.SQL 数据帧)时,我收到一条错误消息“

回答 1 投票 0

Athena 数据源可以通过 Cloudormation 或 CDK 配置吗?

我需要配置 Athena 以连接到几个数据源 - MySQL RDS、Postgres RDS 和自定义联合 Lambda。 理想情况下,我想通过 Cloudformation 配置这些,以便我可以提交...

回答 1 投票 0

Athena CloudWatch Metrics Connector 仅返回过去 15 天的数据

我已经设置了 Athena CloudWatch Metrics 连接器:https://docs.aws.amazon.com/athena/latest/ug/connectors-cwmetrics.html,但是当我从 Athena UI 查询 metric_samples 表中的数据时夫...

回答 1 投票 0

AWS Glue 作业有时无法解析给定输入列的“xxx”

当我执行awsglue作业时,在Athena中运行成功的sql查询语句会在这里报错,通过日志看来是他们的单引号有问题。 D...

回答 3 投票 0

在 AWS Athena 中添加具有唯一值的列

所以,我正在寻找一种对 athena 表的行进行排序的方法。我已经尝试过: ROW_NUMBER() 超过 () 但这会导致在此比例因子错误下查询耗尽资源。它有...

回答 2 投票 0

Athena 计算从日期到当前时间戳的每月计数

我有下表: 孩子ID 孩子_dob 父 ID 家长出生日期 1 2021-01-04 1 2021-01-01 2 2021-01-30 1 2021-01-01 3 2021-03-10 2 2021-01-15 4 2021-04-13 2 2021-01-15 我正在努力争取

回答 1 投票 0

如果 Athena 表中只有 1 个分区,但用户不按该分区查询,会扫描多少数据?

假设我有一个 Athena 表 mytable,由 A、B 和 C 列分区。 我们将通过卸载查询将数据插入到 s3 存储桶中。数据将按 A/B/C 分区。会有不同...

回答 1 投票 0

如何停止将完整 JSON 对象加载到 AWS Athena 中的单个字段中

我正在尝试将 JSON 数据从 S3 加载到 Athena 中的表中。 我的 JSON 数据如下所示; [{“a”:“a_value”,“b”:“b_value”,“my_data”:{“c&...

回答 1 投票 0

在 Athena 中创建具有自动加载分区的表

我创建了这样的表: 如果不存在则创建外部表 my_table ( `id` 字符串注释 '', `source` 字符串 COMMENT '', `os` 字符串注释 '') 划分为 ( `日期` 字符串

回答 1 投票 0

Athena 卸载带有 null 的 TEXTFILE

我目前正在使用 AWS Athena 中的 UNLOAD 功能,我在其中查询如下内容: UNLOAD (SELECT * FROM sometable) TO 's3://' WITH (format = 'TEXTFILE', field_delimeter = ',')

回答 1 投票 0

如何在 SQL 中执行每小时平均计数计算?

我的表格的简化版本如下所示: ID 小时 1 3 1 3 1 3 1 4 2 12 2 12 2 14 小时列表示凌晨 3 点、凌晨 4 点、中午 12 点等。我希望能够做什么(在 Amazon Athena 中工作)...

回答 2 投票 0

来自 S3 的请求的 AWS Athena 成本

如果我在 S3 中有 1000000 个项目,并且我想通过 Athena 查询所有这些项目,我是否需要支付 1000000 次 GET Item S3 操作的费用(当然还有扫描数据量的成本)? 或者雅典娜会对待...

回答 1 投票 0

在 AWS athena 表中指定时间戳或日期格式

我有一个 ISO-8601 格式的时间戳,并希望在 Athena 中创建表时将其指定为时间戳或日期时间格式。有关如何执行此操作的任何线索? 谢谢!

回答 1 投票 0

如何在 Athena 中创建 DELTA 表

我尝试在AWS(Athena)中创建DELTA表,但出现错误。 参考:https://docs.aws.amazon.com/athena/latest/ug/delta-lake-tables.html#delta-lake-tables-getting-started 创建扩展...

回答 1 投票 0

Pandas pandas.util.hash_pandas_object 的 SQL 等效项

我需要编写为每一行生成唯一值的逻辑,我知道我可以使用MD5哈希,但我有一个限制,在过去我们使用pandas dataframe方式通过使用生成唯一值...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.