如何为具有多个分区的Kafka主题启动多个使用者?

问题描述 投票:-2回答:1

我最近开始使用spark,并且不得不处理在spark中使用Kafka主题的多个分区的情况。如何启动多个消费者?我是否需要使用相同的组ID运行同一应用程序的多个实例?还是在启动应用程序时可以使用任何配置,并且该配置在内部完成?

apache-spark apache-kafka kafka-consumer-api
1个回答
1
投票

传递--num-executors并为每个执行程序使用多个内核将在Spark中产生多个消费者线程

每个使用者线程都被映射到单个分区。

使总线程等于总分区,以最大化分布式吞吐量


0
投票

传递--num-executors并为每个执行程序使用多个内核将在Spark中产生多个消费者线程

每个使用者线程都被映射到单个分区。

使总线程等于总分区,以最大化分布式吞吐量

© www.soinside.com 2019 - 2024. All rights reserved.