我有一个用例,其中有一个现有的Kinesis流,但我不知道有多少个分片。但是,我必须创建一个会从分片中使用的消耗性应用程序,并且我还必须对该应用程序进行Dockerize。
我正在查看此docker映像链接以进行相同的操作:https://github.com/alexdebrie/kclpy
我的问题是,由于我不知道其中有多少个分片,所以我只启动了一个包含用户代码的容器。因此,实际上,如果我的运动学有5个碎片,而我只旋转了1个容器,KCL将如何处理分配?
它将为每个分片创建进程或线程吗? Docker将如何处理多个进程/线程的创建?
有人可以给我一些提示,因为我很新,不能从文档中学到很多。
提前感谢
[KCL独自处理多个分片的读取,它使用dynamo db跟踪分片和sequence_id。
您可以运行少于或等于分片计数的KCL进程的许多实例。