Kafka Connect 分离日志记录

Question

目前，我们正在为我们的汇合 kafka 连接分布式工作集群使用几个自定义连接器插件。困扰我很长时间的一件事是 kafka connect 将所有已部署连接器的所有日志写入一个文件/流。这使得调试绝对是一场噩梦。有没有办法让 kafka connect 将连接器记录在不同的文件/流中？

通过

connect-log4j.properties

我可以让特定的类记录到不同的文件/流。但这意味着对于每个额外的连接器，我都必须调整

connect-log4j.properties

谢谢

Answer 1

Kafka Connect 目前不支持此功能。我同意这并不理想。

一种选择是拆分连接器，并为每个连接器创建一个专用的工作集群，从而分离日志文件。

Kafka Connect 是 Apache Kafka 的一部分，因此您可以提出 JIRA 来进一步讨论这个问题，并可能通过 PR 将其贡献回来？

---

2019 年 4 月 12 日编辑： 请参阅 https://cwiki.apache.org/confluence/display/KAFKA/KIP-449%3A+Add+connector+contexts+to+Connect+worker+logs

Answer 2

我将此connector.context添加到log4j.appender.connectAppender.File=${kafka.logs.dir}/connect.log，但我无法单独获取任何连接器日志。此外，文件名不是由连接器名称构成的。它是由变量名称 - “connector.context”组成的