带有Docker容器的KCL实现

问题描述 投票:0回答:1

我有一个用例,其中有一个现有的Kinesis流,但我不知道有多少个分片。但是,我必须创建一个会从分片中使用的消耗性应用程序,并且我还必须对该应用程序进行Dockerize。

我正在查看此docker映像链接以进行相同的操作:https://github.com/alexdebrie/kclpy

我的问题是,由于我不知道其中有多少个分片,所以我只启动了一个包含用户代码的容器。因此,实际上,如果我的运动学有5个碎片,而我只旋转了1个容器,KCL将如何处理分配?

它将为每个分片创建进程或线程吗? Docker将如何处理多个进程/线程的创建?

有人可以给我一些提示,因为我很新,不能从文档中学到很多。

提前感谢

python-3.x docker amazon-kinesis amazon-kcl
1个回答
0
投票

[KCL独自处理多个分片的读取,它使用dynamo db跟踪分片和sequence_id。

您可以运行少于或等于分片计数的KCL进程的许多实例。

© www.soinside.com 2019 - 2024. All rights reserved.