【问题标题】:Converting RDD[org.apache.spark.sql.Row] to RDD[org.apache.spark.mllib.linalg.Vector]将 RDD[org.apache.spark.sql.Row] 转换为 RDD[org.apache.spark.mllib.linalg.Vector]
【发布时间】:2016-01-07 23:41:51
【问题描述】:

我对 Spark 和 Scala 比较陌生。

我从以下数据框开始(单列由密集的双精度向量组成):

scala> val scaledDataOnly_pruned = scaledDataOnly.select("features")
scaledDataOnly_pruned: org.apache.spark.sql.DataFrame = [features: vector]

scala> scaledDataOnly_pruned.show(5)
+--------------------+
|            features|
+--------------------+
|[-0.0948337274182...|
|[-0.0948337274182...|
|[-0.0948337274182...|
|[-0.0948337274182...|
|[-0.0948337274182...|
+--------------------+

直接转换为 RDD 会产生 org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] 的实例:

scala> val scaledDataOnly_rdd = scaledDataOnly_pruned.rdd
scaledDataOnly_rdd: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[32] at rdd at <console>:66

有谁知道如何将此 DF 转换为 org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.Vector] 的实例?到目前为止,我的各种尝试都没有成功。

提前感谢您的任何指点!

【问题讨论】:

    标签: scala apache-spark rdd spark-dataframe apache-spark-mllib


    【解决方案1】:
    import org.apache.spark.mllib.linalg.Vectors
    
    scaledDataOnly
       .rdd
       .map{
          row => Vectors.dense(row.getAs[Seq[Double]]("features").toArray)
         }
    

    【讨论】:

      【解决方案2】:

      编辑:使用更复杂的方式来解释行中的字段。

      这对我有用

      val featureVectors = features.map(row => {
        Vectors.dense(row.toSeq.toArray.map({
          case s: String => s.toDouble
          case l: Long => l.toDouble
          case _ => 0.0
        }))
      })
      

      features 是 spark SQL 的 DataFrame。

      【讨论】:

        【解决方案3】:

        刚刚发现:

        val scaledDataOnly_rdd = scaledDataOnly_pruned.map{x:Row => x.getAs[Vector](0)}
        

        【讨论】:

          猜你喜欢
          • 2020-08-08
          • 2016-04-13
          • 2021-02-26
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2016-12-25
          • 1970-01-01
          • 2021-11-30
          相关资源
          最近更新 更多