固定宽度文件中的火花读取答案

【问题标题】：Spark reading in fixed width file固定宽度文件中的火花读取
【发布时间】：2017-05-19 03:38:56
【问题描述】：

我是 Spark 的新手（不到 1 个月！）并且正在使用固定宽度的平面文件原始数据输入。我正在使用 sqlContext 使用 com.databricks.spark.csv 读取文件，然后使用 .withColumn 根据设置的宽度对行进行子串化。

    rawData.withColumn("ID"), trim(rawData['c0'].substr(1,8)))

我遇到的问题是最后一个字段的宽度可变。它有一个固定的起点，但数据“集”的数量可变，大约 20 个字符宽。比如

Row 1  A 1243 B 42225 C 23213 
Row 2  A 12425
Row 3  A 111 B 2222 C 3 D 4 E55555

我最终需要读入那些可变字段，只需拉出可变宽度列中每个组的第一个字符，然后转置，使输出看起来像：

Row 1 A
Row 1 B
Row 1 C
Row 2 A
...
Row 3 D
Row 3 E

我已经阅读了我需要的固定宽度列，但我被困在可变宽度字段中。

【问题讨论】：

您可以使用正则表达式来删除数字，因此您最终会得到字母。

标签： csv apache-spark fixed-width

【解决方案1】：

zipWithIndex 和 explode 可以帮助将数据转换为每个元素的行

sc.textFile ("csv.data").map(_.split("\\s+")).zipWithIndex.toDF("dataArray","rowId").select ($"rowId",explode($"dataArray")).show(false)

+-----+------+
|rowId|col   |
+-----+------+
|0    |A     |
|0    |1243  |
|0    |B     |
|0    |42225 |
|0    |C     |
|0    |23213 |
|1    |A     |
|1    |12425 |
|2    |A     |
|2    |111   |

【讨论】：