createOrReplaceTempView 和 pyspark 数据框有什么区别答案

【问题标题】：What is the difference between createOrReplaceTempView and pyspark dataframecreateOrReplaceTempView 和 pyspark 数据框有什么区别
【发布时间】：2021-05-05 20:19:21
【问题描述】：

我想知道 pyspark 数据帧和createOrReplaceTempView之间的区别

我知道pyspark dataframe我必须使用python，而createOrReplaceTempView是SQL，但是在内存方面，使用集群，并行化，两者都一样吗？

例如，如果我使用.toPandas()，我会将所有数据放入内存中，createOrReplaceTempView 会发生类似的事情吗？还是仍在分发？

我也想知道，如果我使用CREATE OR REPLACE TEMP VIEW tablename，我如何将此表传递给 pyspark 数据框

问候

【问题讨论】：

要将表传递给 pyspark 数据帧，您可以编写以下代码：df = spark.sql('SELECT * FROM tablename')。然后 df.show() 将显示数据帧，df.count() 将打印其长度等。

标签： python sql pyspark

【解决方案1】：

我想知道 pyspark 数据框和 createOrReplaceTempView 之间的区别

我知道使用pyspark数据框我必须使用python，而使用createOrReplaceTempView是SQL，但是在内存方面，使用集群，并行化，两者都是一样的？

它们应该是相似的

例如，如果我使用 .toPandas() 我会将所有数据放入内存中，那么 createOrReplaceTempView 是否会发生类似的事情？还是仍在分发？

.toPandas()收集所有数据并返回驱动内存，createOrReplaceTempView是懒惰的

【讨论】：