amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

在 Trino/Presto SQL 中:创建一个新列来说明(枚举)每个组的顺序变化

我想计算一个新列,该列根据每个组和该组内的序列变化分配一个 ID。 考虑下表: #|用户 ID |我的日期 |颜色 | # |---------|-----...

回答 1 投票 0

如何在 SQL 中对每组多个时间范围进行非等值连接?

我正在寻找一种在 SQL 中进行非等值联接的方法,通过表 A 中的 col x 是否在表 B 中的 col y 中给出的日期范围内进行联接。但是,表 B 有多个可能的范围根据我...

回答 1 投票 0

AWS Glue 工作室将 Pyspark 字符串列转换为日期返回 null

我有来自 S3 存储桶的数据,并且想要将日期列从字符串转换为日期。当前日期列的格式为 7/1/2022 12:0:15 AM。 我在 AWS Glue Studio 中使用的当前代码...

回答 3 投票 0

如何在 Sagemaker 预处理作业中使用 athena VPC 端点从隔离网络模式查询数据

我在隔离网络中编写了一个 sagemaker 处理作业。它有一个 Athena sql,可以从 athena 读取数据帧。 但它会抛出错误“botocore.exceptions.NoCredentialsError:无法...

回答 1 投票 0

成本浏览器中无法解释的 S3 ListBuckets 成本

我们正在尝试优化AWS S3。成本浏览器显示 ListBuckets 调用的成本非常高。 为了获取这些调用的来源,我们启用了 CloudTrails,并配置了记录所有管理...

回答 1 投票 0

如何使用标准 SQL 将数据字段聚合到同一行?

我有一个数据框,如下所示: ID 四分之一 技能 类型 A Q1 Excel 技术的 A Q1 SQL 技术的 A Q2 Python 技术的 A Q2 右 技术的 乙 Q1 爪哇 技术的 乙 Q1 推介会 软滑雪...

回答 1 投票 0

使用 Athena 的多个 S3 存储桶的库存列表

我正在尝试使用 Athena 查询 AWS S3 库存列表。如果我只有一个源存储桶,我就可以执行此操作。我不确定如何配置它以与多个源存储桶一起使用。 我们正在使用所有

回答 1 投票 0

AWS Athena Delta Lake 版本

AWS Athena 支持哪个版本的 Delta Lake 作为读取器? 我有很多 Databricks 作业创建默认启用删除向量的表,所以我想知道 Athena 是否已经苏...

回答 1 投票 0

使用 Alteryx Designer 在 Athena 中创建/删除表

有没有办法从 Alteryx Designer 在 Athena 中删除和创建表?我认为使用 connect In DB 节点并编写会非常简单 跌落台测试 但我收到以下错误

回答 2 投票 0

如何从 Glue Studio ETL 作业中删除旧数据

我的 S3 存储桶中有一个 CSV 文件。我正在使用 Glue Studio 获取该 CSV 并在 S3 存储桶中创建各种分区,以便加快 Athena 查询速度。 然而,当作业运行时,它是

回答 2 投票 0

AWS |雅典娜 | Boto3 - 检索具有名称或 ID 的查询的所有执行详细信息

我浏览了整个 boto3 文档,似乎无法检索特定查询的执行详细信息。我能看到的唯一方法是获取所有

回答 2 投票 0

尝试在 Athena 中创建具有 MAP 列数据类型的 Iceberg 表时出现“无法解析 Iceberg 查询”?

根据Athena Iceberg文档,支持地图类型。 为什么这两种说法都不起作用? 创建表iceberg_test1(id字符串,themap地图) 位置 's3://mybucket/test/

回答 1 投票 0

如何使用 SQL 在 Amazon Athena 环境中创建滞后年变量

如何在某些特定条件下生成从宽到长的表格? 这是我的原始数据,每个id有三列,year是他们的索引年份,y-1是索引yea之前的年份...

回答 1 投票 0

如何改进 AWS Athena Iceberg 读/写操作?

我有两张相同的桌子;一个是在 .csv 上使用爬网程序创建的,另一个是使用以下命令创建的 Iceberg 表: 创建表 dan_grafana.iced ( 米弦...

回答 1 投票 0

如何获取输入文件大小作为 AWS Athena 外部表中的列

我知道如何通过伪列获取文件的路径,例如: 从表中选择“$path” 但我也想把文件大小放在旁边,可以吗?预先感谢。

回答 1 投票 0

S3 中的 Iceberg 元数据文件夹大小不断增长

表有小插入,但我们正在寻找选项,让 Athena Iceberg 表的 S3 中的元数据文件夹不增长。尝试使用 optimize_rewrite_delete_file_threshold = 1 和

回答 1 投票 0

使用 Athena 查询多个 S3 存储桶的最佳方式

我的组织将长期数据存储在多个 S3 存储桶中。鉴于不同地区的数据格式是一致的,我想创建一张可以用 Athena 查询的表,...

回答 2 投票 0

在aws athena中转换json

我有一个名为 Game 的表,其中包含历史 jsonb 列。 json 看起来像这样: {“游戏”:{“key1”:“value1”,“key2”:value2}} (值可以是字符串...

回答 1 投票 0

AWS Athena 中的特殊字符显示为问号

我已从 csv 文件在 AWS Athena 中添加了一个表,该表使用特殊字符“æøå”。这些在输出中显示为 �。 csv 文件使用 unicode 进行编码。我也尝试过改变编码...

回答 1 投票 0

使用dbt对(yar(月/日)表iceberg进行分区

我在 dbt 中创建了这个模型,分区配置如下: {{ 配置( 物化='增量', incremental_strategy='追加', Partitioned_by=["年份('销售日期')", "米...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.