我正在制定一项要求，我们需要从Kafka读取消息并将其保存（汇总）到Hive。我可以考虑使用不同技术的多种实现：
使用Hive处理大量kafka消息的最佳方法是什么？
谢谢阿伦
最好的当然是一个非常模糊的概念，但我个人喜欢NiFi作为数据移动解决方案。
如果您正在寻求快速开发和清晰的监控，那么直观的GUI应该证明是非常有价值的。
如果您发现无法获得足够的性能或足够长的延迟，您可以使用Spark Streaming进行改进，但通常不需要。
Ful披露：没有与Akka Streams合作，为Cloudera工作是Nifi，Spark和Hive背后的推动力