为静态时间序列数据选择存储层

Question

总的来说，我是大数据技术栈的新手。我正在实施一个实时分析基础架构，它将从我们的微服务后端的不同服务中摄取大量/高速数据。提取的数据（和数据流）将用于填充关键业务指标以及 BI 查询和机器学习的仪表板。

所有后端服务都将数据事件写入现在就位的 Kafka 集群。我开始研究 Spark 原型，以从 Kafka 集群中读取数据并对其进行丰富/处理。

现在我正在研究将静态数据存储在哪里。我知道像 Vertica 和 Terradata 这样的实时分析技术相当流行。但他们有非平凡的前期资本投资。

所以我试图坚持开源。经过一番研究，我决定使用 HDFS/Impala 来处理静态数据，并在 Hadoop 上运行 SQL 来进行实时 BI 查询。

然后我开始考虑是否使用 Cassandra 来存储我们的静态数据而不是使用 HDFS/Impala 更有意义。 Cassandra 横向扩展并具有快速写入和读取功能。我还阅读了一些文献，其中人们为使用 C* 提供了很好的论据。

欢迎任何评论/反馈。

Answer 1

我们在 Cassandra 中存储了数 PB 的过期时间序列数据，我们对此非常满意。在摄取管道中，我们能够每秒进行数百万次写入，并且读取速度很快（亚毫秒）以用于显示/BI。对于大型 ML 任务，您可以在 Cassandra 之上运行 spark 进行分析。