【问题标题】:Scala_Spark_DataFrame using Future method [duplicate]Scala_Spark_DataFrame 使用 Future 方法[重复]
【发布时间】:2017-11-15 18:59:55
【问题描述】:

我必须解决一个使用 Scala 将HiveContext 读取为Future 的场景。但我无法打印返回的数据框。

我的代码:

val f: Future[DataFrame] = Future{hive.sql("select * from test1.emp")}

如何从Future[DataFrame] 对象中获取DataFrame

【问题讨论】:

  • 感谢您的链接。但在此数据框中。我总是将架构作为 o/p ,而不是数据帧确切的 o/p
  • f.onComplete { case Success(v) => v.show }
  • 谢谢..这对我有用。

标签: scala apache-spark


【解决方案1】:

就这么简单

val f: Future[DataFrame] = Future{hive.sql("select * from test1.emp")}.foreach(df => df.show())

所以基本上就像这里已经发布的答案 - Getting data out of a Future in Scala 一样,您可以在地图函数中对 DataFrame 执行所有操作。 df.show() 可以替换为任何其他命令。

【讨论】:

  • 感谢更新。在这种情况下,错误类型不匹配将作为错误出现。-Found :unit but required : Dataframe
  • 我的错,如果你的功能只是打印东西,应该是 foreach 而不是 map。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2021-07-17
  • 1970-01-01
  • 2020-12-11
  • 1970-01-01
  • 1970-01-01
  • 2017-12-19
  • 1970-01-01
相关资源
最近更新 更多