我正在寻找一个具有并发性的大规模并行处理系统，它可以为每500毫秒的超过一百万个物联网设备提供无缝数据提取解决方案。
寻找不同协议支持ESB的开源高度可伸缩丰富库，可以管理多线程而不会出现任何故障。
Apache Beam，Apache Nifi或Apache Camel或WSO2是更好的选择。
我最喜欢的摄取解决方案是Apache NiFi。我只想提几点似乎涵盖你所寻找的内容：
丰富性：在撰写本文时，NiFi有大约280个开箱即用的处理器，让您可以轻松使用多种数据源
可扩展性：NiFi已被证明可与数百个并行节点配合使用，可实现每秒大量数据和大量事件
开源：NiFi是100％开源的
完全披露：我没有与你提到的其他解决方案合作，而且是Cloudera的员工，NiFi背后的驱动力。