amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

AWS Kinesis Firehose + Lambda:如何处理同时发生的多个记录创建/更新

作为 Kinesis Firehose 工作流的一部分,我有一个链接到我的 Kinesis 数据流的 Lambda 函数。 lambda 函数真正做的就是获取来自 DynamoDB 的序列化记录,并且

回答 1 投票 0

AWS Cloudwatch Logs 订阅过滤器以将日志发送到跨账户 Kinesis Stream

目前有一个设置,我们通过订阅过滤器将日志数据管道传输到运动流,以进一步分析应用程序的任何意外行为或调试任何错误。这是在...

回答 1 投票 0

Kafka-kinesis 连接器错误:无法启动任务 XXX-0 (org.apache.kafka.connect.runtime.Worker:652)

我正在关注 kinesis-kafka GitHub 站点上的教程 https://github.com/awslabs/kinesis-kafka-connector 到目前为止,我已经使用 maven 编译了 kinesis-kaka-connector.jar 类库,我是

回答 1 投票 0

为什么在这种情况下使用带有 groupID 的 SQS FIFO 而不是使用带有分区键的 Kinesis Streams?

我正准备参加 AWS Solutions architecture Associate level certificate 的考试,我遇到了一个非常棘手的问题: 我认为 Kinesis Streams 是一个很好的解决方案,我们从多个接收数据...

回答 1 投票 0

我们可以使用Amazon Kinesis Video Streams with WebRTC发送连接到android设备的硬件摄像头的流媒体吗?

硬件是raspberry pi,通过wifi网络连接到android移动设备。树莓有一个连接的摄像头。我可以从硬件摄像头中获取流,并将其显示在...

回答 1 投票 -1

亚马逊流动症碎片数计算公式怎么用?

我正试图学习aws kinesis streams,and as per aws kinesis streams documentation. 每一个shard的摄取量可达1MBsec或1000 recordssec,允许读取量可达2MBsec,每一个shard允许5个事务 ...

回答 1 投票 0

AWS-Kinesis-Agent在自定义AMI和内部部署中:请求中包含的安全令牌无效。

我希望有人能帮助我,因为我对kinesis firehose和firehose agent相当陌生。我已经为我的预置 debian 服务器和 ec2 debian 实例编译了 kinesis-agent(在测试 aws ...

回答 1 投票 0

错误 java.lang.NoSuchFieldError。NO_INTS

当运行spark流媒体应用程序从kinesis中获取数据时,出现以下错误。在线程 "Kinesis Receiver 0 "中出现异常 java.lang.NoSuchFieldError: NO_INTS at com.fasterxml......。

回答 1 投票 0

在Localstack上创建Kinesis流时,Kinesis端口超时。

我试图使用在 Docker 上运行的 Localstack 创建一个 Kinesis 流。我的 docker-compose.yml 是这样的: version: '3.2' services: localstack: image: localstacklocalstack:last ...

回答 1 投票 0

spring cloud stream支持json header?

我们所有的消费类应用都使用spring-cloud-stream,但我们的一个大型生产类应用(legacy...)因为spring boot版本是1.4,所以不能使用spring-cloud-stream。但是我们的一个大型生产者应用(legacy...)不能使用spring-cloud-stream,因为spring boot版本是1.4。我们尝试用...

回答 1 投票 0

亚马逊Firehose转换Kinesis的数据,并将其发布到自定义的终端。

我想看看如何使用休息端点将Kinesis的数据转换为流到我自己的系统。我可以使用lambda来实现。我想知道使用Amazon firehouse能不能帮到我?我是...

回答 1 投票 0

亚马逊Firehose转换Kinesis的数据,并将其发布到自定义的终端。

我想看看如何使用休息端点将Kinesis的数据转换为流到我自己的系统。我可以使用lambda来实现。我想知道使用Amazon firehouse能不能帮到我?我是...

回答 1 投票 0

kinesis firehose在s3上传递的数据是有版本的,如何取消激活?

经过调查,因为我是启用删除数据的s3使用该命令。S3_CLIENT.delete_object(Bucket=BUCKET, Key=Key) 我发现Kinesis Firehose在默认情况下会对数据进行版本调整... ...

回答 1 投票 0

Kinesis CMK 手动旋转--我可以为数据流指定别名并每月手动旋转键吗?

我缺少或误解了一些东西...... 我创建了一个 Kinesis 数据流,并将其配置为使用别名为 kdskeyalias 的 CMK。CMK 被分配给 KeyID 31c1...e95e1。然后我生成了...

回答 1 投票 0

具有SQS DLQ缺失事件数据的Kinesis。

我正在尝试为 Kinesis 设置一个 DLQ。我使用了 SQS,并将其设置为 Kinesis 的失败目标。Kinesis 被连接到一个总是抛出错误的 lambda 上,所以事件会立即发生... ...

回答 1 投票 0

QueryableState Flink AWS EMR。

https:/ci.apache.orgprojectsflinkflink-docs-stabledevstreamstatequeryable_state.html#activating-queryable-state ...

回答 1 投票 0

验证错误.....: 在'streamName'处的值'<TestStream>'未能满足约束条件。

当我试图将流数据从MYSQL迁移到Kinesis时,得到了错误。帮助我解决这个问题。 botocore.exceptions.ClientError.Botocore.exceptions.ClientError.Botocore.Exceptions.ClientError: 当调用PutRecord ...时发生了一个错误(ValidationException)。

回答 1 投票 0

如何从nodejs应用中产生数据到firehose上

我们配置了一个firehose数据传输流,它应该作为Nodejs应用产生的不同类型事件的缓冲区。显然,看起来应用程序不能将数据流传输到 ...

回答 1 投票 0

无法加载AWS证书

我按照下一个例子连接到Amazon Kinesis数据流,并将加入的结果以parquet格式输出到Amazon S3:https:/docs.aws.amazon.comgluelatestdgglue-etl-scala-...。

回答 1 投票 0

AWS Firehose使用的是哪个Hash函数?

AWS Firehose在S3中产生的文件有以下模式:2019-12-24-06-36-08-f6bd467b-af73-4408-9f3e-2c248d8c7e7b.gz 用什么哈希函数来创建文件名?我对这个问题比较感兴趣。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.