Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。
我有一个 lambda 处理运动事件。 如果失败,Kinesis 可以重试 3 次。 lambda 正确处理事件,但被调用了 4 次。 我一直在寻找可能的原因,并且我...
我有一个包含 4 个分片的运动数据流。但是,当我使用以下命令时: aws kinesis 列表分片 \ --stream-name str...
我们可以使用 PostgreSQL 而不是默认的 dynamo 数据库来进行检查点和锁定,以防使用 Binder 方法从 Kinesis 消费数据吗
我有一个 Spring Boot 应用程序,它使用 Amazon Kinesis 来使用数据并将其保存到 PostgreSQL。 由于我已经在我的应用程序中使用一个数据库(PostgreSQL),我想避免使用另一个数据库
Amazon Kinesis Stream 名称未按照提供的 application.yml 文件获取
我有一个使用 Amazon Kinesis 来消费数据的 Spring Boot 应用程序。 它使用了错误的流名称 我需要使用的实际名称是:“test-test.tst.v1” 但它使用:“
我拥有中级 AWS 知识,并且遇到一个问题,我可以看到多种解决方法,并且我正在寻求更熟练的 AWS 架构师的意见。 我有一个本地系统,可以...
AWS Lambda 函数是否可以接收通用事件,然后确定它是哪种类型的事件?
我目前正在学习 AWS Lambda 以及如何从其他服务触发它。我已成功使用 SNS 主题(在本教程的帮助下)发布如下 json: { "name":"波杰克", “啦……
我有一个生成 RTSP 流的源。我正在将 RTP 数据包发送到 Amazon Kinesis Video Stream。我的客户端是一个网络浏览器,我想播放视频流。我如何转发流...
流式 SQL - 如何在简单的滚动窗口聚合中获取最后一条记录
环境 - AWS Kinesis Analytics(但我可以采用建议的任何流式 SQL 概念并将其应用到我的环境中) 我有这样的源数据不断流入: epoc_时间戳
lambda 函数如何知道已获取哪条 Kinesis 记录?
我有一个 lambda 函数,它消耗来自 Kinesis 流的事件。 当 lambda 前往流的分片获取记录时,它如何知道哪些记录已被获取,从而避免
lambda 函数如何知道新记录何时推送到 kinesis?
我 lambda 函数配置为使用来自 kinesis 流的记录。 lambda 如何知道何时推送新记录? 它会定期轮询运动流吗? 有没有什么触发因素
如何从物化视图中的 PARSE_JSON 中提取特定的键、值是 redshift
假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data s...
如何从 PARSE_JSON 中提取特定的键、值是 redshift
假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data。我
起始位置和检查点的组合在 Kinesis Data Streams 中如何工作?
我正在将 Glue Streaming 作业与 Kinesis Data Stream 结合使用。我希望我的胶水作业始终从最后一个未处理的记录中读取(以防作业出现故障并重新启动)。 相关代码- df =glueContext.
如何使用 Python boto3 客户端正确读取和检查具有多个分片的 Kinesis 流?
AWS Kinesis 似乎是为与 Lambda 一起使用而设计的,其分片的概念与带宽和延迟相关 - 但我试图从非 Lambda 服务中读取它,这是一个长期运行的进程......
我可以手动将运动流添加到每个区域的 DynamoDB 全局表中。我将流保留为特定于区域的流。使用 Cloudformation 模板添加时出现错误“资源
处理 AWS Kinesis 流中的所有数据是否需要从多个分片读取?
我正在使用 Python 的 boto3 客户端处理来自 Kinesis 流的记录,并且我能够找到的每个文档都仅从第一个分片读取。代码通常如下所示: 回复...
如何从本地设备网络摄像头(例如笔记本电脑或PC)录制和流式传输视频并将该视频存储在AWS S3中?
我目前正在 ReactJS 中开发一个 Web 应用程序,用户可以使用网络摄像头记录会话并将其流式传输到 AWS 基础设施。我遇到过带有 WebRTC 的 Amazon Kinesis Video Streams。什...
为什么我在向 Kinesis 写入大量记录时会收到 ProvisionedThroughputExceededException?
我同时使用 Lambda 和 Kinesis 来验证和插入批量记录。我是 Kinesis 新手,所以我什至不确定我在寻找什么,或者我是否配置错误。我有一个非常...
AWS Lambda 未向 AWS SQS DLQ 发送错误消息
我正在尝试通过 terraform 创建一个由 Kinesis 触发的 lambda,并且她在失败时的目的地将是 AWS SQS。 我创建了 lambda 并配置了源和目标 当我发送...
并行化因子:AWS Kinesis 数据流传输至 Lambda
我对ParallelizationFactor的概念很困惑。 我的理解 https://stackoverflow.com/a/57534322/13000229 过去,一个 KDS 分片只能向一个 Lambda 实例发送数据/