从文本文件创建数据框，在 pyspark 中不起作用答案

【问题标题】：Creating a dataframe from text files, in pyspark does not work从文本文件创建数据框，在 pyspark 中不起作用
【发布时间】：2020-05-01 20:21:49
【问题描述】：

以下是将由 ^ 分隔的数据文件列表读取到数据框中的代码。但是，每个字段都作为单独的行加载，而不是逐行读取。

换句话说，一行只包含一个字段，而不是一行的所有字段。

这是在 Databricks 的 python spark 中完成的。

字段由 ^ 分隔。

df = spark.read.text(paths='path/srcfilepath',lineSep='^')

【问题讨论】：

【解决方案1】：

使用 spark.read.csv 代替带有 delimiter 选项的 text ^

spark.read.option("delimiter","^").csv("path/srcfilepath").show()

【讨论】：