从Kafka Connect到S3的木地板输出

问题描述 投票:3回答:2

[我看到Kafka Connect可以以Avro或JSON格式写入S3。但是没有Parquet支持。这将增加多少难度?

apache-kafka parquet apache-kafka-connect
2个回答
2
投票

Qubole连接器支持写出实木复合地板-https://github.com/qubole/streamx


0
投票

尝试secorhttps://github.com/pinterest/secor

可以与AWS S3,谷歌云,Azure的Blob存储等一起使用。

请注意,您选择的解决方案必须具有以下关键功能:确保每个消息只写一次,负载分配,容错,监视,分区数据等。

Secor拥有全部,如上所述,可以轻松地与其他“ s3”样式的服务一起使用。

© www.soinside.com 2019 - 2024. All rights reserved.