amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

Lambda 重试正确处理的运动事件

我有一个 lambda 处理运动事件。 如果失败,Kinesis 可以重试 3 次。 lambda 正确处理事件,但被调用了 4 次。 我一直在寻找可能的原因,并且我...

回答 2 投票 0

list-shard 显示的分片多于配置的分片

我有一个包含 4 个分片的运动数据流。但是,当我使用以下命令时: aws kinesis 列表分片 \ --stream-name str...

回答 2 投票 0

我们可以使用 PostgreSQL 而不是默认的 dynamo 数据库来进行检查点和锁定,以防使用 Binder 方法从 Kinesis 消费数据吗

我有一个 Spring Boot 应用程序,它使用 Amazon Kinesis 来使用数据并将其保存到 PostgreSQL。 由于我已经在我的应用程序中使用一个数据库(PostgreSQL),我想避免使用另一个数据库

回答 1 投票 0

Amazon Kinesis Stream 名称未按照提供的 application.yml 文件获取

我有一个使用 Amazon Kinesis 来消费数据的 Spring Boot 应用程序。 它使用了错误的流名称 我需要使用的实际名称是:“test-test.tst.v1” 但它使用:“

回答 1 投票 0

AWS 每天处理大量小文件

我拥有中级 AWS 知识,并且遇到一个问题,我可以看到多种解决方法,并且我正在寻求更熟练的 AWS 架构师的意见。 我有一个本地系统,可以...

回答 1 投票 0

AWS Lambda 函数是否可以接收通用事件,然后确定它是哪种类型的事件?

我目前正在学习 AWS Lambda 以及如何从其他服务触发它。我已成功使用 SNS 主题(在本教程的帮助下)发布如下 json: { "name":"波杰克", “啦……

回答 2 投票 0

如何使用 AWS KVS 将 RTSP 视频流传输到浏览器

我有一个生成 RTSP 流的源。我正在将 RTP 数据包发送到 Amazon Kinesis Video Stream。我的客户端是一个网络浏览器,我想播放视频流。我如何转发流...

回答 1 投票 0

流式 SQL - 如何在简单的滚动窗口聚合中获取最后一条记录

环境 - AWS Kinesis Analytics(但我可以采用建议的任何流式 SQL 概念并将其应用到我的环境中) 我有这样的源数据不断流入: epoc_时间戳

回答 1 投票 0

lambda 函数如何知道已获取哪条 Kinesis 记录?

我有一个 lambda 函数,它消耗来自 Kinesis 流的事件。 当 lambda 前往流的分片获取记录时,它如何知道哪些记录已被获取,从而避免

回答 1 投票 0

lambda 函数如何知道新记录何时推送到 kinesis?

我 lambda 函数配置为使用来自 kinesis 流的记录。 lambda 如何知道何时推送新记录? 它会定期轮询运动流吗? 有没有什么触发因素

回答 1 投票 0

如何从物化视图中的 PARSE_JSON 中提取特定的键、值是 redshift

假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data s...

回答 1 投票 0

如何从 PARSE_JSON 中提取特定的键、值是 redshift

假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data。我

回答 1 投票 0

起始位置和检查点的组合在 Kinesis Data Streams 中如何工作?

我正在将 Glue Streaming 作业与 Kinesis Data Stream 结合使用。我希望我的胶水作业始终从最后一个未处理的记录中读取(以防作业出现故障并重新启动)。 相关代码- df =glueContext.

回答 1 投票 0

如何使用 Python boto3 客户端正确读取和检查具有多个分片的 Kinesis 流?

AWS Kinesis 似乎是为与 Lambda 一起使用而设计的,其分片的概念与带宽和延迟相关 - 但我试图从非 Lambda 服务中读取它,这是一个长期运行的进程......

回答 1 投票 0

将 kinesis 流添加到 DynamoDB 全局表中

我可以手动将运动流添加到每个区域的 DynamoDB 全局表中。我将流保留为特定于区域的流。使用 Cloudformation 模板添加时出现错误“资源

回答 1 投票 0

处理 AWS Kinesis 流中的所有数据是否需要从多个分片读取?

我正在使用 Python 的 boto3 客户端处理来自 Kinesis 流的记录,并且我能够找到的每个文档都仅从第一个分片读取。代码通常如下所示: 回复...

回答 1 投票 0

如何从本地设备网络摄像头(例如笔记本电脑或PC)录制和流式传输视频并将该视频存储在AWS S3中?

我目前正在 ReactJS 中开发一个 Web 应用程序,用户可以使用网络摄像头记录会话并将其流式传输到 AWS 基础设施。我遇到过带有 WebRTC 的 Amazon Kinesis Video Streams。什...

回答 1 投票 0

为什么我在向 Kinesis 写入大量记录时会收到 ProvisionedThroughputExceededException?

我同时使用 Lambda 和 Kinesis 来验证和插入批量记录。我是 Kinesis 新手,所以我什至不确定我在寻找什么,或者我是否配置错误。我有一个非常...

回答 1 投票 0

AWS Lambda 未向 AWS SQS DLQ 发送错误消息

我正在尝试通过 terraform 创建一个由 Kinesis 触发的 lambda,并且她在失败时的目的地将是 AWS SQS。 我创建了 lambda 并配置了源和目标 当我发送...

回答 4 投票 0

并行化因子:AWS Kinesis 数据流传输至 Lambda

我对ParallelizationFactor的概念很困惑。 我的理解 https://stackoverflow.com/a/57534322/13000229 过去,一个 KDS 分片只能向一个 Lambda 实例发送数据/

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.