如何在 PySpark 中读取 DBF 文件答案

【问题标题】：How to read DBF file in PySpark如何在 PySpark 中读取 DBF 文件
【发布时间】：2022-02-08 01:22:29
【问题描述】：

我需要在 PySpark 中读取和处理 .DBF 文件，但我没有任何库可以像读取 CSV、JSON、Parquet 或其他文件一样读取它。

请帮助阅读此文件。我只是在起步阶段受阻。创建火花会话后如何读取.DBF 文件。 dbfread 是 python 中可用于读取 dbf 文件的库。但我需要阅读 PySpark 而不仅仅是使用 Python。

代码：

from pyspark.sql import SparkSession
spark = (SparkSession.builder
  .master("local[*]")
  .appName("dbf-file-read")
  .getOrCreate())

现在如何从.DBF文件读取开始？

【问题讨论】：

Spark 不支持 dbf 文件。您可以将其加载为 pandas 数据框，然后将其转换为 pyspark 数据框。请参阅this 帖子。你也可以在使用 pyspark 之前考虑converting the file into CSV。

【解决方案1】：

似乎无法使用 pyspark 加载 .dbf。尝试使用这个 python "dbfread" 包来读取数据并将其转换为 dict 格式。然后利用 spark.createdataframe() 函数从 dict 切换到 DF。之后，您可以对数据应用 pyspark 转换（利用工作人员）。

【讨论】：