Kafka 2.0-KafkaConnect连接器中的多个Kerberos主体

问题描述 投票:0回答:1

我们目前正在使用捆绑Kafka 2.0.0的HDF(Hortonworks Dataflow)3.3.1。问题是在同一KafkaConnect群集上运行具有不同配置(Kerberos主体)的多个连接器。

作为此Kafka版本的一部分,所有连接器都应使用在使用worker。*或producer。*前缀的工作程序配置中设置的相同使用者/生产者属性。但是正如我所说,我们有多个用户(应用程序)运行他们自己的连接器,并且我们不能使用单个Kerberos主体来允许阅读所有主题。

所以只想与专家确认是否有任何方法可以克服此安全限制。我能想到的选择是-为每个Kafka用户(不同的主体)运行一个不同的Kafka-Connect集群,但是如果我们在同一节点上运行多个KafkaConnect集群,可能会有什么影响?它将对资源(Java堆等)造成任何影响,还是这是处理此问题的唯一方法(标准过程)。

PS:在更高版本(2.3+)中,此问题已通过KAFKA-8265修复,并且可以覆盖这些设置,但是即使我们尝试升级到最新的HDF,我们也只会得到无法解决此问题的Kafka 2.1。

感谢您的帮助!

apache-kafka apache-kafka-connect hortonworks-data-platform hortonworks-dataflow
1个回答
0
投票

我认为升级是获得链接功能的最佳选择。

或者,您可以查看HDF中的替代方案,例如NiFi。

如果我们在同一节点上运行许多KafkaConnect集群,可能会有什么影响?是否会对资源(Java堆等)造成任何影响?

堆是主要堆(用于批处理,接收器连接器)。也可以考虑网络和CPU负载,具体取决于消息的速率。

只要每个集群进程的公告端口不冲突,尽管如此,您应该能够使用相同的组ID和内部主题

© www.soinside.com 2019 - 2024. All rights reserved.