如何将 excel 读取为 pyspark 数据框答案

【问题标题】：How to read excel as a pyspark dataframe如何将 excel 读取为 pyspark 数据框
【发布时间】：2021-10-07 18:27:02
【问题描述】：

我可以使用 oauth2 凭据从 adls2 帐户读取所有文件和格式，例如 csv、parquet、delta。

但是，当我尝试读取如下所示的 excel 文件时，

df = spark.read.format("com.crealytics.spark.excel") \
.option("header", "true") \
.option("inferSchema", "true") \
.option("dataAddress", "'excel sheet name'!A1") \
.load(filepath)

我遇到错误

初始化配置失败检测到 fs.azure.account.key 的配置值无效

注意：我已经安装了外部库“com.crealytics:spark-excel_2.11:0.12.2”来读取 excel 作为数据框。

谁能帮我解决这里的错误？

【问题讨论】：

你能分享一下配置吗？
能否请您更具体地说明我需要分享哪些配置？
来自 SparkConfig 的 oauth2

标签： azure pyspark azure-databricks azure-authentication azure-data-lake-gen2

【解决方案1】：

尝试在配置中使用："fs.azure.account.oauth2.client.secret": "<key-name>"，

而且不同版本有不同的参数设置，所以尝试使用最新版本：https://mvnrepository.com/artifact/com.crealytics/spark-excel_2.12/0.13.7

【讨论】：