【问题标题】:RDD of List String convert to Row列表字符串的 RDD 转换为行
【发布时间】:2016-05-28 05:42:30
【问题描述】:

我正在尝试将具有固定大小的字符串列表(解析 CSV 文件的结果)的 RDD 转换为行的 RDD。这样我就可以把它变成一个数据框,因为我需要它变成一个数据框来写入镶木地板。无论如何,我需要帮助的唯一部分是将 Rdd 从字符串列表转换为 Row。

RDD变量名是RDD

【问题讨论】:

  • 到目前为止你有什么尝试?
  • 好的,我转换为 Row 我使用了 val RowRDD = RDD.map(r => Row.fromSeq(r))
  • 这会改变什么吗?

标签: list scala apache-spark dataframe rdd


【解决方案1】:

我用过:

import org.apache.spark.sql._
val RowRDD = RDD.map(r => Row.fromSeq(r))

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-03-16
    • 1970-01-01
    • 2014-12-31
    • 2016-08-14
    • 2018-09-27
    • 2021-11-25
    • 2020-04-09
    • 1970-01-01
    相关资源
    最近更新 更多