将数据框从 Pyspark 转换为 Scala 数据框答案

【问题标题】：convert the Dataframe from Pyspark to scala data frame将数据框从 Pyspark 转换为 Scala 数据框
【发布时间】：2021-11-25 15:34:57
【问题描述】：

在 Databricks 下，我使用此命令从 Python 数据帧创建数据帧

%python wordsDF = sqlContext.createDataFrame(pandasDF).

我想将数据发送回 Azure Datalake Gen2，并且我想使用 Scala 数据帧。

如何将数据帧从 Pyspark 取回/转换为 scala 数据帧？

【问题讨论】：

标签： python azure scala dataframe databricks

【解决方案1】：

使用 PySpark，您可以在 Databricks 中创建本地表 - 请参阅此处：Databases and tables - Create a local table

然后，您可以从该本地表创建一个 Scala DataFrame。

%python
wordsDF.createOrReplaceTempView("wordsDF")

%scala
val wordsDF = table("wordsDF")

【讨论】：

【解决方案2】：

嗯，谢谢。我之前尝试过这个命令，但它不起作用：

%python wordsDF.createOrReplaceTempView("wordsDF")

昨天，我尝试了另一种方法，可以与您分享。

我执行了这些命令（一一）：

%python wordsDF.createOrReplaceTempView("wordsDF")
%python wordsDF.createOrReplaceTempView("wordsDF")

#Create table:
%python sqlContext.registerDataFrameAsTable(wordsDF, "pandasTAB") 
%sql select * from pandasTAB
val sparkDF = spark.sql("select created_at,id,text,Lang,polarity,subjectivity from pandasTAB")

【讨论】：