【问题标题】:Create table from SQL query in Spark (v.1.5.2)在 Spark (v.1.5.2) 中从 SQL 查询创建表
【发布时间】:2017-09-02 13:51:38
【问题描述】:
我有一个非常直接的问题,如何从Spark(1.5.2) 中的 SQL 查询创建表?
我已经看到在标准SQL Server 2008中,这是通过以下方式解决的:
Select * into new_table from old_table
Spark中是否有类似的公式不需要在Dataframe中使用.filter()?
【问题讨论】:
标签:
scala
apache-spark
apache-spark-sql
【解决方案1】:
首先将您的数据框保存到“old_table”表中
df.registerTempTable("old_table")
将旧表读取为新数据框
val newDF=sqlContext.sql("select * from old_table ")
再次保存以触发 sql
newDF.registerTempTable("new_table")
【解决方案2】:
您可以使用以下内容:
create table "database.table_name" select * from "database.table_name" where "your_condition if any"