【发布时间】:2017-12-31 17:14:26
【问题描述】:
所以我将正则表达式与 Spark 的列 rlike 一起使用以从字符串中提取最后一个数字。问题是在提取数字后,它会自动转换为布尔值。有没有办法阻止它自动转换为布尔值?
test.withColumn("Quarter", $"Month".rlike("\\d+$"))
例如:
输入:
2015 Q 1
2015 Q 1
2015 Q 2
2015 Q 2
输出:
true
true
true
true
预期:1 1 2 2
我尝试将它转换为整数,但它所做的只是返回 1,因为它从布尔值转换为整数。
test.withColumn("Quarter", $"Month".rlike("\\d+$").cast("integer"))
【问题讨论】:
-
试试
.withColumn("Quarter",regexp_replace('Month,".* (\\d+)$","$1")),好吧,我可能会混淆列。 -
其中一个答案能解决您的问题吗?那么请接受它
标签: regex scala apache-spark spark-dataframe