从 AWS MKS 集群到 Apache Kafka 的 Kafka 镜像

Question

我对将 AWS MKS 集群（源）中的主题镜像到 Apache Kafka

2.13

集群（目标）的架构感到困惑。

源集群还使用 AWS Glue Schema 注册表，因此我需要在目标集群中将该 Avro 主题解密为 JSON 主题。

至于操作，我使用的是汇合的 cp-kafka-connect image，我已经重建了它，包括 AWS jar（aws-msk-iam-auth-1.1.9-all.jar、schema-registry-serde- 1.1.16.jar、schema-registry-kafkaconnect-converter-1.1.16.jar）。这些 jar 被添加到类路径

/usr/share/java/kafka

，并且可以从 kafka 二进制文件中利用。

我的主要问题是哪个二进制文件适合该操作以及还应该使用哪些连接器（mm2、源、接收器），因此反序列化也会发生在目标集群上。

• 连接镜像制作者（2.0）
• kafka-mirror-maker（遗留）
• 分布式连接
• 连接独立

附注如果有配置示例就太好了。

Answer 1

镜像时应始终使用 ByteArrayConverter，这样就不会出现反序列化问题，并且字节在运行中不会被修改

MirrorMaker2 内置于 Kafka 中。您不需要特定的 Confluence 库或 Docker 镜像