失败 DF 显示 pyspark答案

【问题标题】：fail DF show pyspark失败 DF 显示 pyspark
【发布时间】：2021-12-18 16:36:39
【问题描述】：

!pip install Pyspark
import pandas as pd
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
pdf = pd.read_excel("xxxx.xlsx", sheet_name='Input (I)')
df = spark.createDataFrame(pdf)
df.show()

但是得到一个错误：

Py4JJavaError：调用 o41.showString 时出错。：org.apache.spark.SparkException：作业因阶段失败而中止：阶段 1.0 中的任务 0 失败 1 次，最近失败：阶段 1.0（TID 1）中丢失任务 0.0（10.75.81.111 执行程序驱动程序）：org.apache .spark.SparkException: Python worker 连接失败。

【问题讨论】：

标签： python apache-spark pyspark apache-spark-sql show

【解决方案1】：

似乎与 PySpark 和 Python 之间的通信有关，可以通过更改环境变量的值来解决：

Set Env PYSPARK_PYTHON=python

但是，为什么不直接在 PySpark DF 上加载 xlsx 文件呢？比如：

df = spark.read.format("com.crealytics.spark.excel") \
                            .option("useHeader", "true") \
                            .option("inferSchema", "true") \
                            .option("dataAddress", "Input (I)") \
                            .load("xxxx.xlsx"))

【讨论】：