如何将 pyspark.sql.dataframe.DataFrame 转换回 databricks 笔记本中的 sql 表

【问题标题】：How can I convert a pyspark.sql.dataframe.DataFrame back to a sql table in databricks notebook如何将 pyspark.sql.dataframe.DataFrame 转换回 databricks 笔记本中的 sql 表
【发布时间】：2016-12-27 04:32:51
【问题描述】：

我通过执行以下行创建了pyspark.sql.dataframe.DataFrame 类型的数据框： dataframe = sqlContext.sql("select * from my_data_table")

如何将其转换回可以运行 sql 查询的 sparksql 表？

【问题讨论】：

标签： python sql apache-spark pyspark databricks

【解决方案1】：

您可以使用createReplaceTempView 创建表。在你的情况下，它会像：

dataframe.createOrReplaceTempView("mytable")

在此之后，您可以使用 SQL 查询您的 mytable。

如果您的火花版本≤1.6.2，您可以使用registerTempTable

【讨论】：

当我运行dataframe.createOrReplaceTempView("mytable") 时出现以下错误：'DataFrame' object has no attribute 'createOrReplaceTempView'
你使用的是什么版本的 Apache spark？
如果你想永久创建一个表使用这个df.write.format("parquet").saveAsTable("mytable")
使用以下方法先删除表（如果存在），然后创建一个` spark.sql("DROP TABLE IF EXISTS " + tableName)`