【问题标题】:select the trailer part of the string pyspark选择字符串 pyspark 的预告片部分
【发布时间】:2021-02-24 12:44:17
【问题描述】:

我有一个字符串,如下所示,需要使用 pyspark 仅选择字符串的最后一部分 输入 /dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_ /dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_ 输出 fsp_store_abcxyz_lmn_ fsp_store_schu_lev_bsd_s_

我正在使用下面的代码

from pyspark.sql.functions import *
df=spark.sql("""select stack(1,"/dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_","/dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_") as (txt)""")
df.withColumn("extract",regexp_extract(col("txt"),"_(.*)",1)).display(10,False)

我的输出是 store_abcxyz_lmn store_schu_lev_bsd_s

不过我的要求是

fsp_store_schu_lev_bsd_s_ fsp_store_abcxyz_lmn_

请您帮忙解决上述挑战

【问题讨论】:

    标签: azure pyspark databricks azure-databricks


    【解决方案1】:

    试试这个:

    df = spark.createDataFrame([{"Path": "/dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_"}, 
                                {"Path": "/dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_ "}])
    
    df.show(2, False)
    
    +------------------------------------------------------+
    |Path                                                  |
    +------------------------------------------------------+
    |/dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_     |
    |/dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_ |
    +------------------------------------------------------+
    
    df.withColumn("result", F.reverse(F.split(F.reverse("Path"), "/")[0])).show(2, False)
    
    +------------------------------------------------------+--------------------------+
    |Path                                                  |result                    |
    +------------------------------------------------------+--------------------------+
    |/dbfs/mnt/abc/date=20210224/fsp_store_abcxyz_lmn_     |fsp_store_abcxyz_lmn_     |
    |/dbfs/mnt/abc/date=20210224/fsp_store_schu_lev_bsd_s_ |fsp_store_schu_lev_bsd_s_ |
    +------------------------------------------------------+--------------------------+
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-08-01
      • 2011-08-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多