amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

AWS Athena查询分区

我正在尝试使用AWS Athena为现有平台提供分析。目前流程如下所示:数据作为JSON事件被泵入Kinesis Firehose。 Firehose转换数据......

回答 1 投票 0

AWS Athena ODI JDBC连接

有没有人尝试从Oracle Data Integrator连接AWS Athena。我一直在尝试这个,但我找不到合适的JDBC连接字符串。我跟随的步骤......

回答 1 投票 0

将数据从Athena导出到Python

我正在尝试将数据从Athena(AWS)导出到Python。或者,有没有办法将python连接到Athena就像有一种方法将python连接到MySql。我在雅典娜有大约15GB的数据和......

回答 1 投票 -4

查询EMR-Presto和Athena之间的结果差异

我已将Glue目录连接到Athena和EMR实例(已安装presto)。我尝试在两者上运行相同的查询但是得到了不同的结果。 EMR给0行,但雅典娜给...

回答 1 投票 1

Athena SQL复合返回

你能举例说明如何仅使用athena sql来复合下表中的回报吗?预期输出位于最右侧列。复合回报=(1 + previous.day.compound.return)*(...

回答 1 投票 0

AWS Athena在Python中的异步分页

我正在为我的Python应用程序创建一个Athena连接器,但如果我使用通常的同步分页,那么大的结果需要很长时间才能处理。因此,我很好奇是否有...

回答 1 投票 1

Athena date_parse for date with optional millisecond field

我在 S3 中有日期,我使用它创建了一个 Athena 表。我在 S3 中有一些 json 格式的日期条目,在运行查询时 Athena 不接受这些日期条目作为日期或时间戳。 使用 ...

回答 3 投票 0

定期安排AWS Glue爬虫的用途是什么。运行一次似乎就足够了

我已经根据S3存储桶的内容创建了一个AWS胶水表。这允许我使用AWS Athena查询此S3存储桶中的数据。我已经定义了一个AWS Glue抓取工具并运行一次以自动确定...

回答 1 投票 0

亚马逊雅典娜 - 查询最近5分钟的记录(时间戳19位数)

我在Athena有一个表,每个记录都有一个时间戳,如1531699933974236880.该表有大量数据,我只想根据时间戳查询最后5分钟的记录。 ...

回答 2 投票 0

更新分区的最佳方法是什么?

我想使用下面的代码更新分区。 msck修复table_name(我不能像其他选项那样使用刷新语句)但是我不知道更新分区的最佳方法。 1)我......

回答 2 投票 0

查询在aws athena中按日期时间解析alb日志时出错

我已按照链接中提到的步骤在Athena中创建ALB表。我试图根据日期时间查询日志,但我得到低于错误。查询SELECT client_ip,sum(...

回答 1 投票 1

有条件地用SQL连续连续行

我的数据以5分钟的包裹发送给我。我正在逐秒读取设备的状态,并且已经构建了一个脚本来聚合相同状态的连续行...

回答 1 投票 0

如何在Athena中指定多个grokCustomPatterns?

我正在尝试在Athena中使用Grok表达式,主要是作为在AWS Glue Classifiers中调试Grok表达式的工具。这工作:CREATE EXTERNAL TABLE example_grok(myColumn string)行格式...

回答 2 投票 0

如何将Google Data Studio连接到AWS Athena?

我需要将Google Data Studio连接到AWS Athena。一种方法是使用JDBC URL连接选项。我在Database Authentication表单中使用了以下参数,我得到了......

回答 1 投票 3

自动执行外部hive / athena表分区管理

我目前有一个大数据架构,其中一些数据管道生成数据输出并将其存储在AWS S3上。我还有一个内部元数据存储,我跟踪每个S3网址和...

回答 1 投票 1

presto / aws athena - 选择最新版本的记录

我有一个订单事件表,每个订单包含几个条目,因为它已满。某些订单被取消或退款。我正在尝试选择所有订单的最新版本...

回答 1 投票 1

在雅典娜的书面拼花文件上创建表

我正在使用以下python脚本从CSV文件创建一个镶木地板文件:导入pandas作为pd import pyarrow作为pa import pyarrow.parquet as pq csv_file ='〜/ Desktop / ...

回答 1 投票 0

如何在不使用胶水的情况下以编程方式将镶木地板数据从S3加载到Athena

我在S3位置有拼花数据,需要加载到Athena进行查询。但我不想从Web UI手动加载或手动运行查询。我们可以通过编程方式进行...

回答 1 投票 1

Athena可以搜索S3中的所有对象版本吗?

我已经做了一些关于这是否可行的阅读,但我找不到任何具体的东西。如果S3中的数据是版本化的JSON文件,我可以使用Athena搜索每个对象的所有版本吗?谢谢,

回答 1 投票 0

从aws athena cli运行包含伪列的查询

参考下面的帖子,如何在AWS Athena外部表中获取输入文件名作为列我尝试使用aws athena cli命令运行查询,如下所示,aws athena start-query -...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.