【问题标题】:Spark - Convert Tuples to Tab Seperated StringSpark - 将元组转换为制表符分隔字符串
【发布时间】:2015-07-25 04:31:46
【问题描述】:

我想创建一个函数,它接受一个元组的 RDD 并将每个元组转换为一个制表符分隔的字符串。我希望该函数能够处理任何大小的元组。

如果我已经创建了这个 RDD,我可以使用以下命令获得所需的输出:

rdd.map(line => (0 to (line.productArity-1)).map(line.productElement(_)).toList.mkString("\t"))

如何将这段代码转换为一个接受元组 RDD 的函数,或者是否有一个好的库已经这样做了?

【问题讨论】:

    标签: scala apache-spark


    【解决方案1】:

    这样的事情应该可以工作:

    def toTab[T <: Product](rdd:RDD[T]) = rdd.map(_.productIterator.mkString("\t"))
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2019-08-23
      • 2010-10-19
      • 1970-01-01
      • 2012-11-08
      • 1970-01-01
      • 2015-01-22
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多