使用Kafka Connect实时读取CSV文件

Question

如何在Java中集成Kafka connect和Kafka producer，以便我可以实时读取CSV文件？我很难找到与此相关的任何来源。

现在我使用scala-ide来运行一个简单的Kafka生产者类，但不知道如何将它与Kafka connect一起使用。

Answer 1

用于读取CSV文件的Kafka Connect连接器已存在：https://github.com/jcustenborder/kafka-connect-spooldir。

你可以在动作英雄中看到它的一个例子：qazxsw poi

---

免责声明：我撰写了上述文章，并为其发布的博客上的Confluent工作

Answer 2

Kafka Connect已经内置了一个生产者。你只需要使用正确的连接器插件。要读取CSV文件，属于Kafka的FileStreamSource连接器应该可以工作。您可以在独立模式下启动Kafka Connect（请参阅https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/）并配置连接器。作为Kafka一部分的示例Kafka docs应该可以帮助您入门。