任意 Java 机器学习与 Apache Spark 的集成

Question

基本上我需要做的是将CTBNCToolkit 与 Apache Spark 集成，这样这个工具包就可以利用 Apache Spark 的并发和集群特性。

总的来说，我想知道 Apache Spark 开发人员是否有任何方法可以以机器学习库可以在 Spark 之上运行的方式集成任何 Java/Scala 库并发管理？

因此，我们的目标是让独立的机器学习库更快、更并发。

Answer 1

不，这是不可能的。

所以你想要的是任何算法都可以在 Spark 上运行。但是，为了使工作并行化，Spark 使用RDDs 或Datasets。因此，为了并行运行您的任务，算法必须使用这些类。

您可以尝试的唯一方法是编写自己的 Spark 程序，该程序利用任何其他库。但我不确定在你的情况下这是否可能。然而，Spark ML 还不够吗？