【问题标题】:How to Convert RDD[(int, string)] to Dataframe in scala如何在 scala 中将 RDD[(int, string)] 转换为 Dataframe
【发布时间】:2018-10-13 13:07:37
【问题描述】:

我正在使用快照中显示的以下代码将 RDD[(Int, String)] 转换为 DataFrame,这样做时,我收到错误消息,提示 value split is not a member of (int , 字符串)

val tuple2_maxduration_withdevice 是 RDD[(Int, String)] 类型,我这里缺少任何基础知识吗?

感谢您对此请求的帮助。

【问题讨论】:

    标签: apache-spark apache-spark-sql


    【解决方案1】:

    既然你已经有了一个元组,直接使用.toDF()

    val result = tuple2_maxduration_withdevice.toDF("duration","device")
    

    【讨论】:

    • 感谢 vdep,toDF() 无法在 IDE 上运行,但在 Spark-shell 上运行良好。添加了以下代码行(创建了 sqlContext 和 toDF("duration","device") 的实例在 IDE 上工作正常。val sqlContext = spark.sqlContext import sqlContext.implicits._
    猜你喜欢
    • 2017-06-13
    • 1970-01-01
    • 2018-05-15
    • 2015-12-08
    • 1970-01-01
    • 2021-09-28
    • 2018-11-26
    • 2020-08-17
    • 2016-05-29
    相关资源
    最近更新 更多