在 apache spark 2.0.2 中使用 mllib 和“无法解析导入 org.apache.spark.mllib”错误

Question

我只想在使用 JavaRDD 时做一些 2D 矩阵运算并查看此链接 https://spark.apache.org/docs/latest/mllib-data-types.html。我尝试做与这里给出的完全相同的示例代码。但是eclipse似乎一开始就没有识别mllib。这是我的代码 sn-p （与上面链接中的相同）

    import org.apache.spark.mllib.linalg.Vector;
    import org.apache.spark.mllib.regression.LabeledPoint;
    import org.apache.spark.mllib.regression.LabeledPoint;
    import org.apache.spark.mllib.util.MLUtils;
    import org.apache.spark.mllib.linalg.Matrix;
    import org.apache.spark.mllib.linalg.Matrices;

    JavaRDD<Vector> rows = ... // a JavaRDD of local vectors
                           // Create a RowMatrix from an JavaRDD<Vector>.
    RowMatrix mat = new RowMatrix(rows.rdd());

    // Get its size.
    long m = mat.numRows();
    long n = mat.numCols();

    // QR decomposition 
    QRDecomposition<RowMatrix, Matrix> result = mat.tallSkinnyQR(true);

我使用的是 Spark 2.0.2。我哪里错了？我们需要任何 Maven 依赖项吗？我检查了我的 spark 主目录，我的 spark 目录中有 mllib 目录和 mllib-local 目录。

Answer 1

检查您的 pom.xml 以查看是否存在 spark-mllib 依赖项。如果没有，请从这里获取正确的版本：https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11

在我回答时，最新版本是：

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.11 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-mllib_2.11</artifactId>
    <version>2.1.0</version>
</dependency>

Answer 2

确保pom.xml 中的 spark-mllib 配置尚未运行。