如何将 sql 表转换为 pyspark/python 数据结构并返回到 databricks 笔记本中的 sql答案

【问题标题】：How to convert sql table into a pyspark/python data structure and return back to sql in databricks notebook如何将 sql 表转换为 pyspark/python 数据结构并返回到 databricks 笔记本中的 sql
【发布时间】：2016-08-19 19:19:57
【问题描述】：

我正在数据块上运行一个 sql 笔记本。我想分析一个包含十亿条记录的表。我可以对数据运行简单的 sql 查询。但是，我需要将日期列类型从 str 更改为 date。

不幸的是，sparkSQL 似乎不支持 update/alter 语句，所以我似乎无法修改表中的数据。

哪一行代码可以让我在下一个单元格中将 SQL 表转换为 python 数据结构（在 pyspark 中）？ 然后我可以修改文件并将其返回给 SQL。

【问题讨论】：

标签： python sql apache-spark databricks

【解决方案1】：

dataFrame = sqlContext.sql('select * from myTable')

【讨论】：

谢谢！以及如何将它返回给 sql，以便我可以在下一个单元格的 sql 中返回查询它？大概也是一条线。是不是类似于dataFrame.to_sql（不知道。只是为了让您了解我的意思）
@Semihcan，你想要registerTempTable函数spark.apache.org/docs/latest/…

【解决方案2】：

df=sqlContext.sql("select * from table")

要将数据框转换回 sql 视图，

df.createOrReplaceTempView("myview")

【讨论】：