在现有Hadoop群集的数据节点上安装NiFi（开源）

Question

如果现有Hadoop群集上有10个数据节点，您可以在4个或6个数据节点上安装NiFi吗？

NiFi的主要目的是每天将数据从RDBMS大量加载到HDFS。

数据节点将配置有高RAM，例如100GB。将使用外部3节点Zookeeper群集。

• 此方法是否有重大问题？
• 仅将NiFi安装在EVERY数据节点上，是否更有意义10？
• 拥有10个nifi节点的大型群集是否有任何问题？
• 某些NiFi配置最佳做法是否会与Hadoop配置冲突？

编辑：当前正在使用Hortonworks版本2.6.5和开源NiFi 1.9.2

Answer 1

此方法是否有重大问题？

[Cloudera Data platform与基于Apache NiFi的Cloudera Dataflow集成在一起，因此集成不应该成为问题。

仅在每个datanode上安装NiFi，这样10有意义吗？

取决于您期望的流量，但是我会认为NiFi是一项独立的服务，例如Kafka，Zookeeper ...所以一个3的集群将是一个很好的开始，并且如果需要的话可能会增加。不需要启动所有的DataNode。可以与DataNode共享这些服务，只需确保正确分配资源（核心，内存，存储...）-使用Cloudera会更容易。

拥有10个nifi节点的大型群集是否有任何问题？

有关缩放6) NiFi Clusters Scale Linearly的更多信息。您应该有很多流量才能超过10个节点。

[一些NiFi配置最佳做法是否会与Hadoop发生冲突配置？

取决于您的配置方式。我建议两者都使用Cloudera，这已经过测试，可以一起使用。您可能不会获得最新版本的服务，但是至少您拥有更高的可靠性。