【发布时间】:2021-02-24 12:44:17
【问题描述】:
我有一个字符串,如下所示,需要使用 pyspark 仅选择字符串的最后一部分 输入 /dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_ /dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_ 输出 fsp_store_abcxyz_lmn_ fsp_store_schu_lev_bsd_s_
我正在使用下面的代码
from pyspark.sql.functions import *
df=spark.sql("""select stack(1,"/dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_","/dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_") as (txt)""")
df.withColumn("extract",regexp_extract(col("txt"),"_(.*)",1)).display(10,False)
我的输出是 store_abcxyz_lmn store_schu_lev_bsd_s
不过我的要求是
fsp_store_schu_lev_bsd_s_ fsp_store_abcxyz_lmn_
请您帮忙解决上述挑战
【问题讨论】:
标签: azure pyspark databricks azure-databricks