amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

将归档表数据存储到S3并使用AWS Athena进行查询

当前场景:我们有数据库表来记录审计数据,并且大多数时候基于object_id在表上触发查询,很少在created_date范围内。 audit_log表存储最后的...

回答 1 投票 0

如何使Athena同时处理多个查询

我正在通过Python应用程序向Athena发起几个并发查询。鉴于Athena的查询历史,Athena似乎确实同时收到了多个查询,并且......

回答 1 投票 0

如何使用Boto3 get_query_results方法从AWS Athena创建Dataframe

我正在使用AWS Athena从S3查询原始数据。由于Athena将查询输出写入S3输出桶,我曾经这样做:df = pd.read_csv(OutputLocation)但这似乎是一种昂贵的方式。 ...

回答 2 投票 3

AWS Glue Crawler - 未正确获取Timestamp列(始终定义为字符串)

我已经设置了一个AWS Glue抓取工具来索引S3中的一组已打包的CSV文件(然后创建一个Athena数据库)。我的时间戳采用“Java”格式 - 如文档中所定义,示例; 2019-03-07 ......

回答 2 投票 0

从Amazon S3存储桶文件创建/更新Amazon Athena表

我已经上传了Amazon S3存储桶中所有表的MySQL csv文件/ MYSQL zip文件。现在我想将Amazon Athena与S3存储桶文件相关联。但是当我为不同的表编写模式时...

回答 1 投票 1

考虑到AWS Athena中的Windows事件管理器事件时间戳,如何使用SQL测试5分钟的时间间隔

我在AWS中使用Athena和Windows事件管理器日志来构建一些安全事件查询。其中之一是我想查询报告3次或更多次失败登录尝试的机器...

回答 2 投票 0

SQL COUNT(DISTINCT(field1))GROUP BY MAX(已提交2)

我有一个像名字这样的表num_try John 2 John 1 Mike 3 Mike 2 Linda 2我想知道按MAX(num_try)计算不同的名字组。期望的结果应该看起来像MAX(num_try)......

回答 1 投票 2

为什么双冒号在case语句中不起作用

我想用'::'(这个字符)标记主机名,将其标记为云,并将所有内容都标记为'not cloud'。我尝试使用like运算符,它不工作,我的结果标记所有主机名不...

回答 1 投票 0

避免使用格式时间无效的SQL用户

这是我的简单查询SELECT playerId,max(accountlevel)as level,max(appActiveTime)as overall_time,max(matchcount)as matchcount FROM client WHERE partition_0 ='2019'AND partition_1 ='03'...

回答 1 投票 -2

无法删除Athena中的分区

我在雅典娜有一个格式不佳的分区。我将年,月,日和小时划分为整数列,但错误地将分区创建为浮点数。即/year2019.0/month=4.0/day=22.0/hour=6.0 ...

回答 1 投票 1

按“$ path”字段查询

我想通过表中的分区下的文件/文件组进行查询。我发现当我使用“$ path”字段时Athena会扫描整个分区,而不是我想要的文件是否有...

回答 1 投票 0

如何将工作组信息传递给Boto3中的Athena startQueryExecution方法

当我尝试使用AWS Lambda中的boto3代码传递下面列出的格式的WorkGroup信息时,我看到以下错误 - “errorMessage”:“参数验证失败:\ n在nnnknown参数中...

回答 1 投票 1

有没有办法将AWS Athena查询编程为每15分钟运行一次?

我在AWS Athena中构建了一个SQL查询,但我希望它每15分钟自动运行一次,而不需要做任何事情。我知道Lambda对此有好处,但我没有经验...

回答 2 投票 1

使用Athena的多个S3存储桶中的库存清单

我正在尝试使用Athena查询AWS S3库存清单。如果我只有一个源存储桶,我可以这样做。我不知道如何配置它以使用多个源存储桶。我们正在使用所有......

回答 1 投票 0

如果零日不产生行/数据,如何获得每人每天的平均活动?

我正在研究一个网站订阅者的活动。具体来说,我希望看到2018年每位订阅者的平均点击次数。不幸的是,数据表......

回答 1 投票 0

如何将这种格式的日期“Mar 31 2018”从Athena / Presto的字符串转换为日期?

使用亚马逊雅典娜我从CSV文件创建了一个表,以下是由athena创建的查询,但问题是我无法在日期格式中获取日期字段,即使我将字符串替换为日期....

回答 1 投票 1

使用聚合函数时,减少Athena扫描的数据量

以下查询扫描100 MB的数据。 select * from table其中column1 ='val',partition_id ='20190309';但是下面的查询扫描了15 GB的数据(有超过90个分区)select * ...

回答 2 投票 2

AWS Athena查询分区

我正在尝试使用AWS Athena为现有平台提供分析。目前流程如下所示:数据作为JSON事件被泵入Kinesis Firehose。 Firehose转换数据......

回答 1 投票 0

AWS Athena ODI JDBC连接

有没有人尝试从Oracle Data Integrator连接AWS Athena。我一直在尝试这个,但我找不到合适的JDBC连接字符串。我跟随的步骤......

回答 1 投票 0

将数据从Athena导出到Python

我正在尝试将数据从Athena(AWS)导出到Python。或者,有没有办法将python连接到Athena就像有一种方法将python连接到MySql。我在雅典娜有大约15GB的数据和......

回答 1 投票 -4

© www.soinside.com 2019 - 2024. All rights reserved.