amazon-kinesis-firehose 相关问题

Amazon Kinesis Firehose是一项全面管理的服务,用于向目的地提供实时流数据

如何从 AWS Kinesis Firehose 写入具有 int64 时间戳(而不是 int96)的 Parquet 文件?

为什么 int96 时间戳对我不起作用? 我想使用 S3 Select 读取 Parquet 文件。根据文档,S3 Select 不支持保存为 int96 的时间戳。另外,存储时间戳...

回答 2 投票 0

使用 Kinesis Firehose 在 S3 和 Redshift 之间可以进行 ETL 吗?

我的团队正在尝试使用 Redshift 来整合来自多个不同数据库的信息。在我们第一次尝试实现此解决方案时,我们使用 Kinesis Firehose 写入 POST 记录...

回答 2 投票 0

Kinesis Firehose 将 JSON 对象放入 S3 中,不使用分隔符逗号

在发送数据之前,我对数据使用 JSON.stringify ,它看起来像这样 {“数据”:[{“键1”:值1,“键2”:值2},{“键1”:值1,“键2”:值2}]} 但一旦通过AWS...

回答 5 投票 0

AWS Lambda FastAPI Firehose 问题[重复]

我有一个在 AWS Lambda 上运行的简单 FastAPI REST 服务器。它使用 AWS Kinesis Firehose 将日志写入 S3。我从异步单个 Firehose 写入开始,速度非常慢。然后我想出了一个

回答 1 投票 0

AWS Lambda FastAPI 后台任务问题

我有一个在 AWS Lambda 上运行的简单 FastAPI REST 服务器。它正在使用 AWS Kinesis Firehose 将日志写入 S3,批量为 20 个。 我有两个与后台任务相关的问题: 写背景...

回答 1 投票 0

如何找到firehose的直放地址?

我使用源输入创建了一个 aws firehose 流:直接放置。 我现在在哪里可以看到地址,我可以将数据发送到。我找不到它。

回答 1 投票 0

AWS Lambda FastAPI 阻止后台任务

我有一个在 AWS Lambda 上运行的简单 FastAPI REST 服务器。它正在使用 AWS Kinesis Firehose 将日志写入 S3,批量为 20 个。 我有两个与后台任务相关的问题: 写背景...

回答 1 投票 0

如何使用 Firehose 将流数据转换为镶木地板,为流数据创建粘合表模式?

我需要使用 Kinesis Data Stream 和 Firehose 流将数据从 DynamoDB 提取到 S3,并将它们转换为镶木地板。 我在 Firehose Str 中设置镶木地板转换时遇到问题...

回答 1 投票 0

如何配置firehose客户端将记录放入流中

我正在尝试使用 firehose 数据流,特别是 firehose 服务的 putRecord api。我创建了一个类,它在构造函数和方法中采用 Firehose 客户端和传输流名称

回答 1 投票 0

有什么方法可以将数据从 AWS Kinesis 发送到 Azure 事件中心吗?

我的公司正在对一些流数据进行 POC,其中一项任务是将数据从 AWS Kinesis 发送到 Azure 事件中心。 以前有人尝试过做这样的事情吗? 我正在考虑拉...

回答 2 投票 0

将多个 DynamoDB 表中的增量加载数据写入单个 S3 存储桶

我正在研究需要以基于事件的方式将数据从多个 DynamoDB 故事传输到单个 S3 存储桶的用例。我的设计可以支持从一个 DynamoDB 表到 s3 的数据以及...

回答 1 投票 0

如何在 Kinesis Firehose 中指定 JSON 对象之间的分隔符

据我了解,只要激活动态分区,就可以在Firehose上指定分隔符。您可以在动态分区下看到“新行分隔符”选项

回答 2 投票 0

如何显示 datadog 日志方面的值,作为 datadog 仪表板上的查询值小部件?

我目前正在通过 AWS Kinesis Firehose 将 json 数据从 AWS Lambda 发送到 Datadog。数据有键值对,例如 { "active_count": 10000, "deleted_count": 100, ....

回答 1 投票 0

AWS 每天处理大量小文件

我拥有中级 AWS 知识,并且遇到一个问题,我可以看到多种解决方法,并且我正在寻求更熟练的 AWS 架构师的意见。 我有一个本地系统,可以...

回答 1 投票 0

如何从转换函数中解聚 json 数组以在 Firehose 中使用动态分区

我从代理(aws iot)接收到我想要传递给firehose的消息,如下所示(json数组): “有效负载”:“{\“时间戳\”:1696338507228,\“指标\”...

回答 1 投票 0

AWS 使用 Cloudformation 为 Kinesis Firehose 放置订阅筛选器 - 检查给定的 Firehose 流是否处于活动状态

按照本指南创建 Kinesis Firehose Stream。 我已按照指南进行操作,当我开始创建订阅过滤器(步骤 12)时,我在尝试发送到 S3 时遇到此错误: 一个

回答 3 投票 0

参考使用 terraform 的 aws kinesis firehose 未声明的资源错误

我正在尝试使用 terraform 模块创建 AWS kinesis firehose 数据流。但我收到错误。我尝试了多种选项,但仍然遇到相同的错误,有人可以帮助我吗

回答 1 投票 0

EKS 流畅位无法从服务帐户承担 AWS 角色

我对在帐户 AWS yyyyyyy 上的 EKS 中通过 Helm 安装的流畅位 DaemonSet 无法将数据发送到 AWS 帐户 xxxxxxxxxx 中的 Kinesis 感到非常生气。 看起来 EKS 没有 OIDC 提供商...

回答 1 投票 0

AWS Kinesis Data Firehose:使用自定义 HTTP 标头(或任何解决方法)的身份验证令牌

我想利用 AWS Kinesis Data Firehose 和 HTTP 终端节点的目标来传输文本。目标端需要以下形式的 HTTP 标头进行身份验证: 身份验证:不记名

回答 1 投票 0

在登陆 S3 之前从 AWS MSK 到 Firehose 记录转换

我尝试使用 AWS MSK 作为 AWS Firehose 传输流中的源,但在尝试将数据转换到 Firehose 流并将数据转储到 S3 之前,我遇到了死胡同。 首先...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.