Kafka Stream划分工作并加入他们

问题描述 投票:0回答:1

我要求在哪里记录主题。用单条记录,我创建了n个不同的作业(应分发)。成功处理n个作业后,我需要推送成功处理的记录。它是否符合Kafka视频流的条件?基本上我正在看的是,我有需要转码的视频(可以说持续20分钟)。我将创建4个任务(每个5分钟),每个工作人员将分别处理这4个任务。完成所有4个任务后,我需要将其缝合在一起。我正在尝试查看KafaStreams是否适合分发工作然后加入。

apache-kafka-streams
1个回答
0
投票

我可能不建议对数据本身使用kafka流,因为它并不意味着处理像视频这样的大消息。但是您可以将其用作消息传递系统,说:

  1. 第一个事件来了,嘿,我要处理一个新视频
  2. 您从流中触发软件
  3. 完成后,该软件将另一个事件写入kafka主题,以表明它已完成工作
  4. 然后,kafka stream应用程序可以处理此事件,以触发其他软件来完成其工作

希望有帮助。

© www.soinside.com 2019 - 2024. All rights reserved.