amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

将大型csv文件从s3复制到redshift的最佳方法是什么?

我正在将sv文件从s3存储桶复制到redshift的任务。我已经找到了多种方法来做到这一点,但是我不确定哪种方法是最好的方法。这是场景:On ...

回答 1 投票 0

如何防止高负载导致级联的Flink检查点故障

我将自愿提出几点:我是Flink的新手(大约工作了一个月),我正在使用Kinesis Analytics(AWS托管的Flink解决方案)。从所有方面来看,这实际上并没有限制...

回答 1 投票 0

NextShardIterator从运动学流中读取数据时永远不会返回null

我正在尝试在lambda函数中的特定时间戳记之后从运动学流中读取记录。我得到了碎片,碎片迭代器,然后是数据。当我得到第一个迭代器时,就得到了数据...

回答 1 投票 0

如果更改运动学中的分区键会发生什么?

考虑到我们有多个X类型的分片和分区键,现在我们将分区键更改为Y型,Kinesis会基于新的PartitionKey重新分配分片中的记录,否则它将离开...

回答 1 投票 0

您如何配置ECS以允许访问Kinesis Stream

我有一个用c#(。net内核)编写的套接字服务器,它通过TCP连接从设备接收数据。然后,我将其部署到Amazon ECS。最初,我使用...

回答 1 投票 1

Kinesis Producer回调函数-保证交付?

[每天向Kinesis发送数十亿条消息。我们正在寻找一种实现方式,使我们能够以一次保证的方式向Kinesis发送消息。我们的生产者框架要求...

回答 1 投票 0

使用多个分片重新读取时的AWS Kinesis数据顺序

假设,有一个消费者从同一Kinesis流的多个分片中读取多个工人。我们决定从某个时间点开始重新读取所有记录。是...

回答 1 投票 0

到期后如何刷新aws kinesis迭代器?

在我的spring boot(1.5.7)应用程序中,我正在使用骆驼运动学组件从运动学流中读取数据。我已经将迭代器类型设置为“最新”,如下所示:@Override public void ...

回答 1 投票 2

在处理后,在Flink中将元素传递回输入流?

场景:我有来自传感器的事件流。该事件可以是T型或J型。 T型事件具有事件发生的时间戳。 J型事件具有开始和结束时间戳记。基于...

回答 1 投票 1

将事件推送到Kinesis时发生DaemonException

我正在使用KPL 0.12.11将事件推送到运动学。在一开始就可以找到它,但是最近我收到很多这样的错误:将事件添加到流vehicle-stream-qa1时发生异常,...

回答 1 投票 0

Amazon Kinesis:在同步Kinesis碎片和租约时捕获到异常

我正在尝试让Snowplow在AWS上工作。当我尝试在实例上运行流丰富的服务时,遇到了以下异常:[main] INFO com.amazonaws.services.kinesis.clientlibrary.lib.worker ....

回答 1 投票 6

Global Window自定义触发器上的allowedLateness

我已经为我的事件流创建了自定义触发和处理功能。 DataStream dynamoDBRows = sensorEvents .keyBy(“ id”).window(GlobalWindows.create())...

回答 1 投票 1

运动流和Flink

我有一个关于在Kinesis流中分片数据的问题。我想在向kinesis流发送用户数据时使用随机分区键,以使分片中的数据均匀...

回答 1 投票 0

无法使用运动学流在火花流中创建流

我是kinesis的新手,我正尝试通过spark-streaming(Pyspark)处理kinesis流数据,并遇到以下错误以下是我的代码:我正在将twitter数据推送到我的kinesis流中,并...]] >

回答 1 投票 1

用于Java应用程序的Amazon Kinesis数据分析:反序列化传入消息中的Avro问题

我尝试将Flink应用程序部署到AWS Kinesis Data Analytics中。该应用程序使用Apache Avro对输入消息进行反序列化/反序列化。我的应用程序在我的本地计算机上工作正常...

回答 1 投票 1


FluentBit与直接从Kinesis数据流生产者的Services(Go)中使用Aws SDK?

有人在运动学数据流生产者选项方面帮助我吗?我正在从服务(在Go中)搜索FluentBit与使用Aws SDK之间的性能比较,但是我遇到了困难...

回答 1 投票 0

是否可以使用.Net Core 2.2在AWS Lambda上使用Kinesis FireHose执行PutRecord?

之所以问这个问题,是因为我没有看到任何官方文件提到执行从AWS Lambda函数到FireHose的PutRecord。我想在Kinesis上从AWS Lambda执行PutRecord ...

回答 2 投票 0

使用aws cli创建Kinesis Analytics应用程序

我想使用aws cli创建运动分析应用程序。我使用此命令来创建应用程序aws kinesisanalytics create-application --application-name smartfactorytest1 --application -...

回答 1 投票 0

如何使用kinesis视频流产生器(WebRTC)从笔记本电脑的摄像头流视频

我正在使用AWS kinesis视频流来传输实时视频并在图像供稿上执行面部识别。我需要帮助来了解有关它的一些基本概念:-1)如果我想使用WerRTC ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.