如何使用 Kafka Connect 从 S3 存储桶获取 .csv 文件?

问题描述 投票:0回答:2

据我了解,S3源连接器仅适用于使用S3接收器连接器上传的对象。我还知道有一个 spooldir 连接器可以从本地目录读取 .csv 文件。

但是我该如何从 S3 存储桶读取 .csv 文件呢?或者这不切实际?

apache-kafka apache-kafka-connect
2个回答
0
投票

我知道这个问题已经很老了,但对于那些正在寻找答案的人来说,您可以使用 FilePulse Source Connector。它支持从S3存储桶以及其他云供应商读取CSV文件。

Connect FilePulse 是一种多用途、可扩展且可靠的 Kafka 连接器,可以轻松解析、转换任何文件,并将其以“任何格式”传输到 Apache Kafka™。它提供了从以下位置读取文件的功能:本地文件系统、Amazon S3、Azure 存储和 Google 云存储。

来源


0
投票

© www.soinside.com 2019 - 2024. All rights reserved.