amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

同一 Kinesis 流的多个不同消费者

我有一个 Kinesis 生产者,它将单一类型的消息写入流。我想在多个完全不同的消费者应用程序中处理这个流。因此,具有单个 publi 的 pub/sub...

回答 1 投票 0

Amazon Kinesis 1 MB 大小限制解决方法

如 AWS 文档中所述 在进行 Base64 编码之前,记录的数据负载的最大大小为 1 MiB。 因为我需要处理可能具有更大尺寸的记录...

回答 2 投票 0

有什么方法可以将数据从 AWS Kinesis 发送到 Azure 事件中心吗?

我的公司正在对一些流数据进行 POC,其中一项任务是将数据从 AWS Kinesis 发送到 Azure 事件中心。 以前有人尝试过做这样的事情吗? 我正在考虑拉...

回答 2 投票 0

如何仅记录上次重试后失败的 AWS Kinesis 放置请求?

我有一个 AWS Kinesis 数据流分片,每秒最多允许 1000 条记录。我的申请(复数)远低于平均水平。然而,某些突发情况可能会达到 4000 条记录...

回答 1 投票 0

为 kinesis firehose 流启用动态分区时,Terraform 抛出 InvalidArgumentException

即使我遵循 terraform 文档来准确启用动态分区(https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/kinesis_firehose_delivery_...

回答 2 投票 0

如何在 Kinesis Firehose 中指定 JSON 对象之间的分隔符

据我了解,只要激活动态分区,就可以在Firehose上指定分隔符。您可以在动态分区下看到“新行分隔符”选项

回答 2 投票 0

在 kinesis 中使用 MultiStreamTracker 时出现 StreamIdentifier 错误

尝试在 kinesis 消费者应用程序中使用 MultiStreamTracker 时,我遇到 StreamIdentifier 错误。 java.lang.IllegalArgumentException:无法从 f 反序列化 StreamIdentifier...

回答 2 投票 0

检查点和应用程序版本与 AWS Managed Flink 不兼容

我有一个 AWS 托管 Apache Flink 应用程序。 我们有 2 个输入数据流和 2 个输出数据流。 每次我进行更大的更改(例如,我们更改输入和输出流上的数据格式......

回答 1 投票 0

如何显示 datadog 日志方面的值,作为 datadog 仪表板上的查询值小部件?

我目前正在通过 AWS Kinesis Firehose 将 json 数据从 AWS Lambda 发送到 Datadog。数据有键值对,例如 { "active_count": 10000, "deleted_count": 100, ....

回答 1 投票 0

Lambda 重试正确处理的运动事件

我有一个 lambda 处理运动事件。 如果失败,Kinesis 可以重试 3 次。 lambda 正确处理事件,但被调用了 4 次。 我一直在寻找可能的原因,并且我...

回答 2 投票 0

list-shard 显示的分片多于配置的分片

我有一个包含 4 个分片的运动数据流。但是,当我使用以下命令时: aws kinesis 列表分片 \ --stream-name str...

回答 2 投票 0

我们可以使用 PostgreSQL 而不是默认的 dynamo 数据库来进行检查点和锁定,以防使用 Binder 方法从 Kinesis 消费数据吗

我有一个 Spring Boot 应用程序,它使用 Amazon Kinesis 来使用数据并将其保存到 PostgreSQL。 由于我已经在我的应用程序中使用一个数据库(PostgreSQL),我想避免使用另一个数据库

回答 1 投票 0

Amazon Kinesis Stream 名称未按照提供的 application.yml 文件获取

我有一个使用 Amazon Kinesis 来消费数据的 Spring Boot 应用程序。 它使用了错误的流名称 我需要使用的实际名称是:“test-test.tst.v1” 但它使用:“

回答 1 投票 0

AWS 每天处理大量小文件

我拥有中级 AWS 知识,并且遇到一个问题,我可以看到多种解决方法,并且我正在寻求更熟练的 AWS 架构师的意见。 我有一个本地系统,可以...

回答 1 投票 0

AWS Lambda 函数是否可以接收通用事件,然后确定它是哪种类型的事件?

我目前正在学习 AWS Lambda 以及如何从其他服务触发它。我已成功使用 SNS 主题(在本教程的帮助下)发布如下 json: { "name":"波杰克", “啦……

回答 2 投票 0

如何使用 AWS KVS 将 RTSP 视频流传输到浏览器

我有一个生成 RTSP 流的源。我正在将 RTP 数据包发送到 Amazon Kinesis Video Stream。我的客户端是一个网络浏览器,我想播放视频流。我如何转发流...

回答 1 投票 0

流式 SQL - 如何在简单的滚动窗口聚合中获取最后一条记录

环境 - AWS Kinesis Analytics(但我可以采用建议的任何流式 SQL 概念并将其应用到我的环境中) 我有这样的源数据不断流入: epoc_时间戳

回答 1 投票 0

lambda 函数如何知道已获取哪条 Kinesis 记录?

我有一个 lambda 函数,它消耗来自 Kinesis 流的事件。 当 lambda 前往流的分片获取记录时,它如何知道哪些记录已被获取,从而避免

回答 1 投票 0

lambda 函数如何知道新记录何时推送到 kinesis?

我 lambda 函数配置为使用来自 kinesis 流的记录。 lambda 如何知道何时推送新记录? 它会定期轮询运动流吗? 有没有什么触发因素

回答 1 投票 0

如何从物化视图中的 PARSE_JSON 中提取特定的键、值是 redshift

假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data s...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.