如何使用Java / Scala将kafka使用者输出附加到HDFS中的文件（镶木地板上？

Question

这是一个Kafka批处理过程。我想读取本地CSV文件并将其写入Kafka主题。

然后，消费者必须从他们订阅的主题中获取数据。

**期望：**我希望将消耗的数据以拼花格式添加到HDFS中的文件中。请帮助我有效地实现这一目标。

Kafka生产者输入：

Kafka消费者输出：

我希望将值附加到HDFS中的文件。

Answer 1

从头开始这样做会很复杂。

您可以使用处理开箱即用的实木复合地板格式输出的Kafka连接接收器HDFS连接器。

更多信息在这里：https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html