Spark SQL使用空格分隔符读取csv并忽略括号内的空格

【问题标题】：Spark SQL read csv with whitepsace delimiter and ignore whitespace inside bracketsSpark SQL使用空格分隔符读取csv并忽略括号内的空格
【发布时间】：2019-10-21 04:01:35
【问题描述】：

我正在尝试读取包含如下行的文本文件：

a [b c] "d e" f

除了解析[b c] 之外，此代码工作正常，它将b 和c 拆分为单独的列。有没有办法忽略它们之间的空格？

display( spark.read.load(file_path, format="csv",sep = ' ', header="false"))

【问题讨论】：

标签： csv pyspark apache-spark-sql removing-whitespace

【解决方案1】：

让它分裂......我认为它没有问题。你可以试试这个

import org.apache.spark.sql.functions.lit
df
.withColumn("timestamp", concat($"col1", lit(" "),$"col2"))
.withColumn("timestamp", $"timestamp".cast("date"))

其中 col1 = 24/Sep/2014:22:25:44 & col2 = +0000

【讨论】：

我很抱歉编辑的问题更通用。但你的答案仍然成立，我认为它解决了我的问题。如果愿意，请更改答案中的列名以匹配问题，谢谢！