使用FileStreamSink连接器将Kafka数据写入二进制文件

问题描述 投票:0回答:1

我正在尝试使用FileStreamSink连接器备份Kafka数据。我知道还有更好的选择,但我的公司已经有文件备份基础结构(基于NetApp),因此我想将Kafka数据转储为二进制文件并备份该文件。

由于存储在Kafka中的数据已加密,因此我们没有使用或转换的架构。我尝试使用此设置,但似乎无法正常工作:key.converter = org.apache.kafka.connect.converters.ByteArrayConvertervalue.converter = org.apache.kafka.connect.converters.ByteArrayConverter

您对此案有何建议?谢谢。

java apache-kafka backup apache-kafka-connect
1个回答
0
投票

Kafka connect - string cannot be casted to struct处查看我的答案

但是,本质上,FileStreamSink只能写记录的字符串值,并不打算用于生产用途,而是作为编写您自己的接收器连接器的示例,这将需要您实现源连接器以读取该二进制数据返回主题

如果您不想实现自己的连接器,则需要实现一些其他使用者,或者着眼于将数据镜像到辅助的备份Kafka集群。

正如在其他地方提到的,仅备份主题不会备份其配置或与该主题相关联的任何使用者组。]

© www.soinside.com 2019 - 2024. All rights reserved.