amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

失败事件未发送到死信队列吗?

我已经在AWS Lambda配置中设置了死信队列,以处理失败的事件。但是,当我尝试发送错误的记录(大小约为1KB)时,它没有发送到DLQ。以下是步骤...

回答 2 投票 1

AWS:如何将流数据保存到EC2托管的数据库(例如MySQL / MongoDB)

我们可以轻松地在不同的AWS Services for ex之间保存数据。 Kinesis到DynamoDB;或将AWS IoT迁移到Redshift等。但是,将流数据保存到MongoDB的最佳策略是什么(不是...

回答 3 投票 3

Apache Flink-无法将本地Kinesis用于FlinkKinesisConsumer

到目前为止,我已经按照Flink的kinesis连接器记录的说明使用本地Kinesis。使用非AWS的Kinesis端点测试属性producerConfig = new Properties();。 ...

回答 1 投票 7

AWS Kinesis Client Java:在Stream中设置TRIM_HORIZON位置不起作用

我正在运行一个测试系统,该系统产生一个Kinesis生产商,该生产商开始将消息(例如:1到100)写入带有两个分片的流中。在此周期中,消费者开始从...

回答 1 投票 0

从Kinesis读取Pyspark中的数据

我正在尝试使用KinesisUtils.createStream从Pyspark中的kinesis读取数据,但问题是我遇到此错误。在类路径中找不到Spark Streaming的Kinesis库。尝试以下一种...

回答 1 投票 0


来自运动流/壁炉的人口动态表

问题建议使用来自运动学数据源(流或流水线)的数据填充dynamodb表的推荐方法是什么?当前的工作流数据已被吸收到运动学lambda ...

回答 1 投票 4

将数据从红移转移到运动的最佳方法?

[我知道AWS支持一种称为Kinesis firehose的工具,该工具可将数据从kinesis移至AWS Redshift。这是备份数据的重点吗?为什么要这样做?同样,有没有办法...

回答 1 投票 0

带有Kinesis事件使用者的AWS CloudFormation模板

我正在尝试创建一个Lambda,当Kinesis Stream中有记录时将调用该Lambda。为此,我在lambda的template.yaml中以以下方式添加了Kinesis Consumer-...

回答 1 投票 0

AmazonClientException:无法从链中任何提供程序加载凭证

我的m子应用程序将json记录写入kinesis流。我使用KPL生产者库。在本地运行时,它将从.aws / credentials中选择AWS凭证并将记录成功写入kinesis。 ...

回答 1 投票 1

从DynamoDB流复制到KinesisData流时如何保持顺序并避免重复记录?

我目前有一个用例,用于将数据从DDB流复制到Kinesis数据流(只是为了增加数据保留期)。使用DDB Streams,与Kinesis Data相比,它仅保留24小时...

回答 1 投票 0

Amazon AWS Kinesis Video Boto GetMedia / PutMedia

有人知道如何使用boto3 sdk将视频发送到运动视频流的完整示例吗?最初针对GetMedia和PutMedia都询问了此问题。现在我有了这个...

回答 1 投票 0

带有Kinesis流2碎片的AWS Lambda

我想将AWS Lambda与Kinesis流2碎片一起使用,我希望lambda按顺序处理kinesis中的任务,但是对于2个碎片,我发现lambda不能按顺序处理,任何人...

回答 1 投票 0

在Kinesis中使用分区键来确保具有相同键的记录由相同的记录处理器(lambda)处理]]

我正在使用AWS kinesis和lambda在实时数据管道上工作,我试图弄清楚如何保证来自相同数据生产者的记录由相同的分片和...处理]。 [

回答 1 投票 8

为什么不使用Lambda处理程序在“ GetRecords.IteratorAgeMilliseconds”度量标准中显示Kinesis记录处理延迟

我正在尝试Kinesis和Lambda。即使Kinesis的“ GetRecords.IteratorAge”指标明显延迟,我也看不到它的延迟。实验环境如下。 ...

回答 1 投票 1

使用SQS进行类似运动的分片?

我有兴趣用SQS替换Kinesis(因为它很昂贵,并且我不需要历史记录),但是我需要一种分片/分区机制,特别是在使用Lambda处理时。我看到了...

回答 1 投票 0

如何依次合并HLS流

我有一个每12小时到期的HLS流,并生成一个新链接。如何创建一个静态HLS流?我想到的一个想法是保持刷新流并将其转发到...

回答 1 投票 0

[基于值超过阈值时不触发的运动学指标的Cloudwatch警报

问题描述我们有一个AWS Cloudwatch警报,它很明显超过了正在监视的指标图中指示的阈值行,但没有触发。这里发生了什么? ...

回答 1 投票 1

使用PutRecords将多个记录加载到Kinesis-如何在失败的情况下仅重新发送失败的记录?

我正在使用Lambda将数据记录加载到Kinesis中,并且通常希望添加多达500K条记录,我将它们分成500条,然后使用Boto的put_records方法将它们发送到Kinesis。我...

回答 1 投票 0

KCL不处理来自AWS kinesis流的三个分片中的两个分片的记录

我们有一个包含三个碎片的运动流,而我们的运动应用程序具有三个实例。我们可以看到记录已发布到我们所有的三个分片中,但是我们的运动学应用程序可以...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.