Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。
我有一个 Kinesis 生产者,它将单一类型的消息写入流。我想在多个完全不同的消费者应用程序中处理这个流。因此,具有单个 publi 的 pub/sub...
如 AWS 文档中所述 在进行 Base64 编码之前,记录的数据负载的最大大小为 1 MiB。 因为我需要处理可能具有更大尺寸的记录...
有什么方法可以将数据从 AWS Kinesis 发送到 Azure 事件中心吗?
我的公司正在对一些流数据进行 POC,其中一项任务是将数据从 AWS Kinesis 发送到 Azure 事件中心。 以前有人尝试过做这样的事情吗? 我正在考虑拉...
如何仅记录上次重试后失败的 AWS Kinesis 放置请求?
我有一个 AWS Kinesis 数据流分片,每秒最多允许 1000 条记录。我的申请(复数)远低于平均水平。然而,某些突发情况可能会达到 4000 条记录...
为 kinesis firehose 流启用动态分区时,Terraform 抛出 InvalidArgumentException
即使我遵循 terraform 文档来准确启用动态分区(https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/kinesis_firehose_delivery_...
如何在 Kinesis Firehose 中指定 JSON 对象之间的分隔符
据我了解,只要激活动态分区,就可以在Firehose上指定分隔符。您可以在动态分区下看到“新行分隔符”选项
在 kinesis 中使用 MultiStreamTracker 时出现 StreamIdentifier 错误
尝试在 kinesis 消费者应用程序中使用 MultiStreamTracker 时,我遇到 StreamIdentifier 错误。 java.lang.IllegalArgumentException:无法从 f 反序列化 StreamIdentifier...
检查点和应用程序版本与 AWS Managed Flink 不兼容
我有一个 AWS 托管 Apache Flink 应用程序。 我们有 2 个输入数据流和 2 个输出数据流。 每次我进行更大的更改(例如,我们更改输入和输出流上的数据格式......
如何显示 datadog 日志方面的值,作为 datadog 仪表板上的查询值小部件?
我目前正在通过 AWS Kinesis Firehose 将 json 数据从 AWS Lambda 发送到 Datadog。数据有键值对,例如 { "active_count": 10000, "deleted_count": 100, ....
我有一个 lambda 处理运动事件。 如果失败,Kinesis 可以重试 3 次。 lambda 正确处理事件,但被调用了 4 次。 我一直在寻找可能的原因,并且我...
我有一个包含 4 个分片的运动数据流。但是,当我使用以下命令时: aws kinesis 列表分片 \ --stream-name str...
我们可以使用 PostgreSQL 而不是默认的 dynamo 数据库来进行检查点和锁定,以防使用 Binder 方法从 Kinesis 消费数据吗
我有一个 Spring Boot 应用程序,它使用 Amazon Kinesis 来使用数据并将其保存到 PostgreSQL。 由于我已经在我的应用程序中使用一个数据库(PostgreSQL),我想避免使用另一个数据库
Amazon Kinesis Stream 名称未按照提供的 application.yml 文件获取
我有一个使用 Amazon Kinesis 来消费数据的 Spring Boot 应用程序。 它使用了错误的流名称 我需要使用的实际名称是:“test-test.tst.v1” 但它使用:“
我拥有中级 AWS 知识,并且遇到一个问题,我可以看到多种解决方法,并且我正在寻求更熟练的 AWS 架构师的意见。 我有一个本地系统,可以...
AWS Lambda 函数是否可以接收通用事件,然后确定它是哪种类型的事件?
我目前正在学习 AWS Lambda 以及如何从其他服务触发它。我已成功使用 SNS 主题(在本教程的帮助下)发布如下 json: { "name":"波杰克", “啦……
我有一个生成 RTSP 流的源。我正在将 RTP 数据包发送到 Amazon Kinesis Video Stream。我的客户端是一个网络浏览器,我想播放视频流。我如何转发流...
流式 SQL - 如何在简单的滚动窗口聚合中获取最后一条记录
环境 - AWS Kinesis Analytics(但我可以采用建议的任何流式 SQL 概念并将其应用到我的环境中) 我有这样的源数据不断流入: epoc_时间戳
lambda 函数如何知道已获取哪条 Kinesis 记录?
我有一个 lambda 函数,它消耗来自 Kinesis 流的事件。 当 lambda 前往流的分片获取记录时,它如何知道哪些记录已被获取,从而避免
lambda 函数如何知道新记录何时推送到 kinesis?
我 lambda 函数配置为使用来自 kinesis 流的记录。 lambda 如何知道何时推送新记录? 它会定期轮询运动流吗? 有没有什么触发因素
如何从物化视图中的 PARSE_JSON 中提取特定的键、值是 redshift
假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data s...