【问题标题】：PySpark Juypter Notebook DisplaysPySpark Jupyter 笔记本显示器
【发布时间】：2020-08-13 20:53:09
【问题描述】：
我对 jupyter notebook 很陌生，我正在努力以类似于普通 panda 数据框（图 2）的更简洁的方式显示我的 spark 表（图 1）。我尽量不使用熊猫。
显示功能在 spark 数据帧上不起作用 :( 有人可以帮我吗？这将使我更容易分析 spark 表。
【问题讨论】：
标签：
python
pyspark
apache-spark-sql
jupyter-notebook
【解决方案1】：
当您构建 Spark 会话时，添加配置。
.config("spark.sql.repl.eagerEval.enabled", True)
例如，
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("local") \
.config("spark.sql.repl.eagerEval.enabled", True) \
.getOrCreate()
只需调用没有.show 的数据框，如下所示
df
将以这种方式打印结果。