【问题标题】:Spark column rlike converts int to booleanSpark 列 rlike 将 int 转换为 boolean
【发布时间】:2017-12-31 17:14:26
【问题描述】:

所以我将正则表达式与 Spark 的列 rlike 一起使用以从字符串中提取最后一个数字。问题是在提取数字后,它会自动转换为布尔值。有没有办法阻止它自动转换为布尔值?

test.withColumn("Quarter", $"Month".rlike("\\d+$")) 

例如:

输入:

2015 Q 1
2015 Q 1
2015 Q 2
2015 Q 2

输出:

true
true
true
true

预期:1 1 2 2

我尝试将它转换为整数,但它所做的只是返回 1,因为它从布尔值转换为整数。

test.withColumn("Quarter", $"Month".rlike("\\d+$").cast("integer"))

【问题讨论】:

  • 试试.withColumn("Quarter",regexp_replace('Month,".* (\\d+)$","$1")),好吧,我可能会混淆列。
  • 其中一个答案能解决您的问题吗?那么请接受它

标签: regex scala apache-spark spark-dataframe


【解决方案1】:

Spark 具有通过匹配正则表达式来提取的功能,您可以为此使用regexp_extract 功能。

scala> val df = Seq("2015 Q 1", "2015 Q 1", "2015 Q 2", "2015 Q 2").toDF("col1") 
df: org.apache.spark.sql.DataFrame = [col1: string]

scala> import org.apache.spark.sql.functions._
import org.apache.spark.sql.functions._

scala> df.withColumn("Quarter",regexp_extract($"col1", ".*(\\d+)$", 1)).show

+--------+-------+
|    col1|Quarter|
+--------+-------+
|2015 Q 1|      1|
|2015 Q 1|      1|
|2015 Q 2|      2|
|2015 Q 2|      2|
+--------+-------+

【讨论】:

    【解决方案2】:

    这是预期的行为,rlike 用于过滤。从org.apache.spark.sql.functions 尝试regex_extract

    df.withColumn("Q", regexp_extract($"month", ".*(\\d)$", 1))
    

    在你的情况下,甚至来自同一个包的子字符串可能就足够了:

    df.withColumn("Q", substring($"month",7,7))
    

    这些列可以转换为您希望的整数(虽然是解析而不是转换...)

    【讨论】:

      猜你喜欢
      • 2016-03-20
      • 1970-01-01
      • 2018-10-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-11-06
      • 2017-06-03
      相关资源
      最近更新 更多