如何使用 spark 和 mongodb with play 计算预测？

Question

我正在使用 play、scala 和 mongodb (salat)。

我有以下数据库结构-

[{
"id":mongoId,
"name":"abc",
"utilization":20,
"timestamp":1416668402352
},
{
"id":mongoId,
"name":"abc",
"utilization":30,
"timestamp":1415684102290
},
{
"id":mongoId,
"name":"abc",
"utilization":90,
"timestamp":1415684402210
},
{
"id":mongoId,
"name":"abc",
"utilization":40,
"timestamp":1415684702188
},
{
"id":mongoId,
"name":"abc",
"utilization":35,
"timestamp":1415684702780
}]

通过使用上述数据，我想计算当前时间戳的利用率（通过应用统计算法）。

为了计算它，我使用的是 spark。我在 build.sbt of play 框架中添加了以下依赖项。

我有以下问题。

1) 如何计算当前利用率？ （使用火花的MLlib）

2) 是否可以使用 spark 查询 mongo 集合以获取某些字段？？

Answer 1

有一个名为 Deep-Spark 的项目负责将 spark 与 mongodb（以及其他数据存储区，如 cassandra、aerospike 等）集成。

https://github.com/Stratio/deep-spark

您可以在此处查看如何使用它：

https://github.com/Stratio/deep-spark/blob/master/deep-examples/src/main/java/com/stratio/deep/examples/java/ReadingCellFromMongoDB.java

这是开始使用 mongodb 和 spark 的一种非常简单的方法。

抱歉，我无法为您提供 MLlib 方面的帮助，但肯定有人会添加一些有用的东西。

免责声明：我目前正在研究 Stratio。