Spark MLlib 如何处理 Java 程序？答案

【问题标题】：How Spark MLlib deal with Java program?Spark MLlib 如何处理 Java 程序？
【发布时间】：2016-06-15 18:48:58
【问题描述】：

我想知道 Spark 如何处理调用 MLlib 提供的某些机器学习算法的 Java 程序。我需要下载Spark Project ML Library吗？另外，MLlib for Java API 的源代码在哪里？我在 repository 找不到它

【问题讨论】：

【解决方案1】：

Spark MLlib 是用 Scala 编写的，您可以直接使用它。在存储库中是here。

您还可以查看一些示例here

【讨论】：

那么，MLlib 对 Java 或 Python API 做了什么？它是用 Java 还是 Python 实现那些机器学习算法？还是只为 Java 或 Python API 调用相应的 scala 实现？
对于Java程序，直接调用scala实现。对于 Python Spark，Pyspark 也实现了 mllib，请查看 here
但是模块 ml（不是 MLlib）中的算法呢？找不到实施细节。
和ml一样，Java API使用Scala实现，见here，pyspark有自己的实现，见here
是的，我找到了。但与模块 mllib 中的算法不同，模块 ml 中的算法扩展了一些类，如 JavaEstimator，并且我找不到任何用于训练它的代码。你能告诉我模块ml的机制吗？谢谢。