有没有好的BigData / IoT参考架构？

Question

我正在为一个应用程序寻找一些参考架构，必须是：

• geo scalable：允许从遍布全球的节点（可能像物联网）中获取数据。
• 半结构化数据：未完全整理的数据。新设备发送尚未知的数据的范围
• 有一个单窗格/门户/ api，允许查询来自不同位置的聚合数据。

（更新）：自发布此问题以来，我一直在阅读一些演示文稿和YouTube视频。到目前为止，我收集了以下内容：

选项1：使用来自Amazon，Azure等云供应商的自定义解决方案堆栈。为了快速引导，还有专门从事这些云解决方案之一的咨询公司。

选项2：使用开源堆栈构建。几个有趣的架构是：SMACK，Lambda。

您可以提供任何帮助，指出正确的链接/书籍/博客或您的笔记/评论，我可以从中获得参考架构，将不胜感激。

Answer 1

有些平台可用于此类要求，AWS（https://aws.amazon.com/iot/）和Microsoft（https://azure.microsoft.com/en-in/suites/iot-suite/）提供了所需工具/技术的最佳支持平台。您仍然需要根据解决方案要求开发具有特定业务逻辑的自定义应用程序，并且必须利用无架构数据库（NoSql）来开发此阶段未知数据结构的此类解决方案。

您还可以考虑遵循微服务架构，以便将API与第三方应用程序集成。

Answer 2

不确定这是否为时已晚。我没有任何云供应商物联网产品的经验，所以无法帮助那里。

• SMACK堆栈非常受欢迎，但您可能并不需要它。
• 该架构的关键部分是用于实时分析的Spark，用于消息传递总线的Kafka和用于数据库层的Cassandra。
• Mesos是一个管理框架，你可以用Kubernetes代替
• Akka是一个规模/ Java语言框架，不确定您首选的语言是什么。