使用没有 Spark 依赖项的 MLlib 2+答案

【问题标题】：Using MLlib 2+ without Spark dependencies使用没有 Spark 依赖项的 MLlib 2+
【发布时间】：2019-12-23 02:11:40
【问题描述】：

由于 MLlib 在后台使用 Breeze，有没有一种方法可以将 MLlib 与 Breeze 数据结构一起使用，这样我就不需要整个 Spark 生态系统，但仍然可以仅在本地使用 MLlib？

【问题讨论】：

标签： apache-spark breeze apache-spark-mllib

【解决方案1】：

你不能那样做。即使可以提取依赖项，也不能在没有 spark-core 的情况下使用 spark-mllib。

不过，如果您想以独立方式从 MLLib 运行算法，则需要以独立模式安装 spark。在这种情况下不需要真正的集群，但该解决方案显然无法扩展。

【讨论】：

【解决方案2】：

完全同意@Eliasah

您甚至可以在 IDE 项目设置中运行 MLlib。我有一个 Gradle 项目来运行 MLlib -

dependencies {
    implementation 'org.scala-lang:scala-library:2.11.12'
    compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.4.4'
    compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.4.4'
    compile group: 'org.apache.spark', name: 'spark-mllib_2.11', version: '2.4.4'

    runtime group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.4.4'
    runtime group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.4.4'
    runtime group: 'org.apache.spark', name: 'spark-mllib_2.11', version: '2.4.4'
}

【讨论】：