[我看到Kafka Connect可以以Avro或JSON格式写入S3。但是没有Parquet支持。这将增加多少难度?
Qubole连接器支持写出实木复合地板-https://github.com/qubole/streamx
尝试secor
:https://github.com/pinterest/secor
可以与AWS S3,谷歌云,Azure的Blob存储等一起使用。
请注意,您选择的解决方案必须具有以下关键功能:确保每个消息只写一次,负载分配,容错,监视,分区数据等。
Secor
拥有全部,如上所述,可以轻松地与其他“ s3”样式的服务一起使用。