【问题标题】:How to create an empty dataframe using hive external hive table?如何使用配置单元外部配置单元表创建一个空数据框?
【发布时间】:2019-10-15 18:21:39
【问题描述】:

我正在使用以下内容创建一个使用 hive 外部表的数据框 (spark scala)。但是数据框也在其中加载了数据。我需要一个使用 hive 外部表的架构创建的空 DF。我正在为此使用 spark scala。

val table1 = sqlContext.table("db.table")

如何使用 hive 外部 hive 表创建空数据框?

【问题讨论】:

  • 添加什么都找不到的 where 子句,不优雅的方法

标签: scala apache-spark


【解决方案1】:

你可以这样做:

val table1 = sqlContext.table("db.table").limit(0)

这将为您提供仅包含架构的空 df。由于延迟评估,它也不会比加载架构花费更长的时间。

【讨论】:

    猜你喜欢
    • 2017-10-10
    • 1970-01-01
    • 1970-01-01
    • 2015-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-29
    • 1970-01-01
    • 2016-02-11
    相关资源
    最近更新 更多