Flink kafka - Flink作业不向不同的分区发送消息

Question

我有以下配置：

Flink工作片段：

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new 
SimpleStringSchema(), props));

场景1：

我在eclipse上写了一个flink作业（Producer），它正在从一个文件夹中读取一个文件并将msgs放在kafka主题上。

因此，当我使用eclipse运行此代码时，它工作正常。

例如：如果我放置一个包含100条记录的文件，则flink会向分区1发送少量消息，并向分区2发送少量消息，因此消费者都会获得少量消息。

场景2：当我创建上述代码的jar并在flink服务器上运行它时，flink将所有msgs发送到一个分区，因此只有一个消费者获得所有的msgs。

我希望方案1使用方案2中创建的jar。

Answer 1

如果你没有提供FlinkKafkaPartitioner或者没有明确说使用Kafka的那个，那么将使用FlinkFixedPartitioner，这意味着来自一个任务的所有事件都将在同一个分区中结束。

要使用Kafka的分区程序，请使用此ctor：

speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new SimpleStringSchema(), props), Optional.empty());

从IDE和eclipse运行之间的区别可能是因为Flink中的并行或分区设置不同。

Answer 2

对于Flink-Kafka Producers，添加“null”作为最后一个参数。

speStream.addSink(new FlinkKafkaProducer011(
    kafkaTopicName,
    new SimpleStringSchema(),
    props,
    (FlinkKafkaPartitioner) null)
);

对此的简短解释是，这将关闭Flink使用默认分区器FlinkFixedPartitioner。这被关闭，因为默认情况下允许Kafka在其认为合适的分区之间分发数据。如果没有关闭，那么用于使用FlinkKafkaProducer的接收器的每个并行/任务槽只会写入每个并行/任务槽的一个分区。