从 pyspark 数据框中的列返回字母数字值

Question

我有一个 pyspark 数据框 df。它有 2 列，如下所示的示例输入。我想创建一个新的输出数据框，其中包含一个新列“col3”，该列仅包含 col2 中字符串的字母数字值。

我尝试过使用 spark sql 和

regexp_extract('('+col1+')','[^[A-Za-z0-9] ]', 0)

但它只返回 null。

谁能建议如何做到这一点？

输入

df.show()


+----+----+
|col1|col2|
+----+----+
|1   |ab& |
+----+----+
|2   |efg |
+----+----+

输出

+----+----+
|col1|col3|
+----+----+
|1   |ab  |
+----+----+
|2   |efg |
+----+----+

Answer 1

在 spark 中使用 regexp_replace() 函数。

Example:

df.show()
#+----+----+
#|col1|col2|
#+----+----+
#|   1| ab&|
#|   2| efg|
#+----+----+

from pyspark.sql.functions import *

df.withColumn("col3",regexp_replace("col2",'[^A-Za-z0-9]','')).show()
#+----+----+----+
#|col1|col2|col3|
#+----+----+----+
#|   1| ab&|  ab|
#|   2| efg| efg|
#+----+----+----+