有没有好的大数据/物联网参考架构？答案

【问题标题】：Are there any good BigData/IoT reference architectures?有没有好的大数据/物联网参考架构？
【发布时间】：2018-01-25 13:47:38
【问题描述】：

我正在为一个应用程序寻找一些参考架构，它必须是：

地理可扩展：允许从节点获取数据遍布全球（可能像物联网）。
半结构化数据：未全部整理的数据。新设备发送未知数据的范围
有一个单窗格/门户/api，允许查询来自不同位置的聚合数据。

（更新）：自从发布这个问题以来，我一直在阅读一些演示文稿和 youtube 视频。到目前为止，我收集了以下内容：

选项 1：使用来自亚马逊、Azure 等云供应商的定制解决方案堆栈。为了快速引导，还有专门研究这些云解决方案之一的咨询公司。

选项 2：使用开源堆栈构建。几个有趣的架构是：SMACK、Lambda。

您可以提供任何帮助以指向正确的链接/书籍/博客或您的笔记/cmets，我可以从中得出参考架构。

【问题讨论】：

标签： architecture iot bigdata

【解决方案1】：

AWS (https://aws.amazon.com/iot/) 和 Microsoft (https://azure.microsoft.com/en-in/suites/iot-suite/) 提供了可用于满足此类要求的平台，以及具有所需工具/技术的最佳支持平台。您仍然需要根据您的解决方案要求开发具有特定业务逻辑的自定义应用程序，并且您必须利用无模式数据库 (NoSql) 来开发现阶段数据结构未知的此类解决方案。

您还可以考虑遵循微服务架构来公开 API 以与 3rd 方应用程序集成。

【讨论】：

感谢古德夫。使用微服务的建议非常好。事实上，一旦确定了技术堆栈（参考），我想看看在 kubernetes 上使用它们（最好）。

【解决方案2】：

不确定这是否为时已晚。我没有任何云供应商 IoT 产品的经验，因此无法提供帮助。

SMACK 堆栈非常流行，但您可能并不需要全部。
该架构的关键部分是用于实时分析的 Spark、用于消息传递总线的 Kafka 和用于数据库层的 Cassandra。
Mesos 是一个管理框架，可以用 Kubernetes 代替
Akka 是一个规模/Java 语言框架，不确定您的首选语言是什么。

【讨论】：