如何读取带有分隔符 /u0001 的 .dat 文件并记录下一条记录将由 scala 中的下一行分隔

【问题标题】：how to read a .dat file with delimiter /u0001 and record next record will be separating by next line in spark with scala如何读取带有分隔符 /u0001 的 .dat 文件并记录下一条记录将由 scala 中的下一行分隔
【发布时间】：2019-07-03 00:02:09
【问题描述】：

我有没有任何标题的 .dat 扩展文件 1.以'\u0001'分隔的字段 2.下一条记录将在新行中

如何使用 scala 在 spark 中读取此文件并转换为数据帧。

【问题讨论】：

我有该文件的单独标头信息要附加以创建数据帧

标签： scala apache-spark f#-data

【解决方案1】：

试试下面的代码，我假设你使用的是 spark > 2.x 版本 -

val df = spark
      .read
      .option("header", "true")
      .option("inferSchema", "true")
      .option("delimiter", "\01")
      .csv("<CSV_FILE_PATH_GOES_HERE>")

【讨论】：