amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

RSpec的AWS Kinesis存根

我正在为Rails app编写规范。并且需要来自aws kinesis服务的存根请求。这是stub_helper中存根的代码def stub_kinesis_client kinesis = Aws :: Kinesis :: Client.new(...

回答 1 投票 0

Flink Kinesis Consumer不存储最后成功处理的序列号

我们正在使用Flink Kinesis Consumer将Kinesis流中的数据用于我们的Flink应用程序。 KCL库使用DynamoDB表来存储上次成功处理的Kinesis流序列号。 ...

回答 1 投票 1

在内部安装Kinesis代理

我们希望使用AWS(Kinesis,Kinesis FireHoste,ES,Kibana)实施日志记录解决方案。但我们有混合环境。我看到你可以在RHEL7,AWS AMI和微软上安装Kinesis。是吗 ...

回答 1 投票 1

FARGATE上的AWS KCL检查点更新行为

我在FARGATE上部署了一个KCL(2.0 / Java)来读取多个分片。不幸的是我现在遇到两个问题我希望有人可以帮助我:FARGATE不允许JVM正常关闭。 ...

回答 1 投票 0

AWS Kinesis,S3是否必须用于运动?

能否请您详细说明Kinesis中的s3使用情况?谢谢,Subham

回答 1 投票 -3

是否可以使用亚马逊认知与Kinesis数据流,作为生产者(生产者是角应用程序)?

我正在尝试将我的角度应用程序中的数据写入amazon kinesis。由于aws cognito提供了使用aws资源(如s3)的访问权限,因此可以与kinesis一起使用。我搜索了很多。但是......

回答 1 投票 0

SQS或Kinesis哪个有利于排队?

我有一台服务器,一次只能处理20个请求。当大量请求到来时,我想在一些队列中存储请求数据。并读取一组请求(即20)并批量处理它们....

回答 1 投票 -1

调用PutRecord操作时的(ResourceNotFoundException):帐户xxxxxxx下的流请求数据调试器

这是我的代码aws kinesis put-record --stream-name request-data-debugger --data file://payload.json --partition-key 1当我试图将数据放到kinesis时。它总是说,“(...

回答 1 投票 0

根据数据类型将AWS Kinesis中的数据放入不同的存储桶中

我已经按照本教程中描述的设置来配置从Aurora到redshift的数据管道。我有一个完美的工作表,例如Sales。但是现在我想......

回答 1 投票 0

Kinesis视频流异步获取帧

我想从AWS Kinesis捕获视频流并使用asyncio。我的目标是从流中提取帧并将它们传递给处理队列。以下是我所拥有的工作实例......

回答 1 投票 0

如何将Kinesis Video Stream与Kinesis Video Rekognition集成以便检测人员

使用Raspberry pi使用Kinesis Video Streaming Parser库获得实时视频流,并希望处理流到Kinesis Video Rekognition以检测人员。设置所需的详细信息......

回答 1 投票 0

从传入的数据流中解析json以在Flink中执行简单的转换

我第一次使用Apache Flink和AWS Kineses。基本上我的目标是转换来自Kinesis流的传入数据,以便我可以执行简单的转换,例如......

回答 2 投票 0

将凭据添加到AmazonKinesisAsyncClientBuilder

在StackOverflow(链接)的其他地方,对AWS S3的访问是这样完成的:AmazonS3 amazonS3 = AmazonS3Client.builder()。withRegion(“us-east-1”)。withCredentials(new AWSStaticCredentialsProvider(...

回答 1 投票 1

将旧的aws lambda日志发送到aws kinesis流

我刚创建了一个新的AWS kinesis流,并将其设置为接收我在lambda函数中提取的数据。 Theres是我的云监视日志中的一些数据,在我设置流之前就已经出现了。是......

回答 1 投票 0

处理Kinesis Streams中的不同事件类型

来自AMQP背景,如果我有一个创建小部件的应用程序,我将为我的事件创建路由键,例如widget.created和widget.updated。然后我可以让队列绑定他们的事件......

回答 1 投票 0

需要关于数据管道创建的设计输入

对于所有AWS专家,我需要您帮助设计和构建大数据数据管道。下面是这样的场景: - 我在S3中有大的.gz扩展文件,范围从MB到GB。这些是w3c ......

回答 1 投票 0

用于直播音频的AWS Transcribe>流转录功能和Kinesis视频流(用于音频输入)之间有什么区别

嗨我的要求是我有现场音频流作为输入,比如2个人之间的通话,现在将该音频转换为现场文本,并从提取的文本中选择某些关键字并插入数据库....

回答 1 投票 0

使用java将帧写入kinesis视频流

我使用aws lambda来处理帧,它生成png图像序列作为输出。我想将这些处理过的帧推送到amzaon kinesis-video-stream。如何在java中做到这一点?

回答 2 投票 1

Apache Spark Kinesis Integration:已连接,但未收到任何记录

tldr;无法使用Kinesis Spark Streaming集成,因为它不接收任何数据。设置测试流,nodejs app每秒发送1条简单记录。标准Spark 1.5.2集群设置为...

回答 2 投票 4

Kinesis Spark流式传输读取记录:在独立群集中运行

我在java中有spark spark应用程序,它从kineses流(1 shard)读取记录并在此之后进行一些处理。当我在spark local模式下运行我的应用程序时,它能够接收...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.