在 Spark sql 中替换字符串中的空字符

【问题标题】：Replace null character in a string in Spark sql在 Spark sql 中替换字符串中的空字符
【发布时间】：2020-01-29 15:19:40
【问题描述】：

我需要替换 spark sql 字符串中的空字符。

我在 spark sql 中找不到 COLLATE 的等价物。

你能帮忙吗？

【问题讨论】：

【解决方案1】：

如果您正在寻找一种方法来替换字符串中的每个 NULL 字符，您可以使用regexp_replace。根据您使用的编码和编程语言，NULL 字符可能会有所不同：\000、\x00、\z 或 \u0000。 [Wikipedia]

null_character = u'\u0000'
replacement = ' '
df = df.withColumn('e', F.regexp_replace(F.col('columnX'), null_character, replacement))

【讨论】：