错误重载方法值 regexp_replace 与替代品

Question

我正在尝试将数据帧 df_test 中名为 UserAgent 的列中的数据中的“/”字符替换为空格（“”）

列中的数据如下所示：

Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) 像 Gecko

我尝试过使用

val df_test =spark.sql(s"select UserAgent from df_header_pivot")
 df_test.withColumn("UserAgent", regexp_replace("UserAgent", "[/]", ""))

但我收到错误消息：

notebook:4: 错误：用替代方法重载了方法值 regexp_replace： （e：org.apache.spark.sql.Column，模式：org.apache.spark.sql.Column，替换：org.apache.spark.sql.Column）org.apache.spark.sql.Column (e: org.apache.spark.sql.Column,pattern: String,replacement: String)org.apache.spark.sql.Column 不能应用于（org.apache.spark.sql.ColumnName, org.apache.spark.sql.Column） df_test.withColumn("UserAgent", regexp_replace($"UserAgent" , lit("/")))

Answer 1

您需要在regexp_replace 函数中的列名前使用$ 符号。 import org.apache.spark.sql.functions._ val df_test =spark.sql(s"select UserAgent from df_header_pivot") df_test.withColumn("UserAgent", regexp_replace($"UserAgent", "[/]", " "))

Answer 2

当您使用 SparkSQL 时，您可以简单地在 SQL 本身中调用 replace 函数，例如：

val df_test =spark.sql(s"select replace(UserAgent, '/', '') AS UserAgent from tmp")

df_test.show

也可以使用translate 函数替换不需要正则表达式的字符，例如

df_test
  .withColumn("UserAgent", translate($"UserAgent", "/", ""))
  .show

不需要正则表达式。