【问题标题】:PySpark - Add Row Number After Using Explode Function [duplicate]PySpark - 使用爆炸功能后添加行号[重复]
【发布时间】:2020-06-09 15:46:10
【问题描述】:

我正在做一个 nlp 项目,并且有包含多个句子的评论。我正在使用 spark-nlp 包,它输出一列,其中包含每个评论中的句子列表。我正在使用 explode 为每个句子创建一行,但我想添加编号,所以我知道哪个句子是第 1 个、第 2 个等。我不知道如何使用 row_number() 因为我真的没有什么要订购的.

我的数据如下所示:

REVIEW_ID REVIEW_COMMENTS     SENTENCES_LIST           
    1     Hi. Sent1. Sent2.   [Hi., Sent1., Sent2.]   
    2     Yeah. Ok.           [Yeah., Ok.]  

这是我想要的样子:

REVIEW_ID REVIEW_COMMENTS     SENTENCES_LIST           SENTENCE  SENT_NUMBER
    1     Hi. Sent1. Sent2.   [Hi., Sent1., Sent2.]    Hi.       1
    1     Hi. Sent1. Sent2.   [Hi., Sent1., Sent2.]    Sent1.    2
    1     Hi. Sent1. Sent2.   [Hi., Sent1., Sent2.]    Sent2.    3
    2     Yeah. Ok.           [Yeah., Ok.]             Yeah.     1
    2     Yeah. Ok.           [Yeah., Ok.]             Ok.       2

我正在使用下面的代码,但不确定如何使用 row_number(),因为我没有可用作“orderBy”的列,除了它位于 SENTENCES_LIST 中。

df2 = df.withColumn('SENTENCE', F.explode('SENTENCES_LIST'))
df3 = df2.withColumn('SENT_NUMBER',row_number().over(Window.partitionBy('REVIEW_ID').orderBy('????'))) 

【问题讨论】:

  • 您似乎在寻找pyspark.sql.functions.posexplode?试试看:df2 = df.withColumn('SENTENCE', F.posexplode('SENTENCES_LIST').alias("SENT_NUMBER", "SENT_NUMBER"))
  • @pault 'AS 子句中提供的别名数与 UDTF 预期的 2 个别名输出的列数不匹配,但得到了 SENTENCE ;'
  • 虽然 df.select('*', F.posexplode('SENTENCES_LIST').alias('SENT_NUMBER', 'SENTENCE')) 有效

标签: apache-spark pyspark explode row-number


【解决方案1】:

对于Spark2.4+,你可以使用explode和高阶函数transform.

from pyspark.sql import functions as F

df.withColumn("list", F.explode(F.expr("""transform(SENTENCES_LIST,(x,i)-> struct(x as SENTENCE,(i+1) as SENT_NUMBER))""")))\
  .select("*", "list.*").show()

#+---------+-----------------+--------------------+-----------+--------+-----------+
#|REVIEW_ID|  REVIEW_COMMENTS|      SENTENCES_LIST|       list|SENTENCE|SENT_NUMBER|
#+---------+-----------------+--------------------+-----------+--------+-----------+
#|        1|Hi. Sent1. Sent2.|[Hi., Sent1., Sen...|   [Hi., 1]|     Hi.|          1|
#|        1|Hi. Sent1. Sent2.|[Hi., Sent1., Sen...|[Sent1., 2]|  Sent1.|          2|
#|        1|Hi. Sent1. Sent2.|[Hi., Sent1., Sen...|[Sent2., 3]|  Sent2.|          3|
#|        2|        Yeah. Ok.|        [Yeah., Ok.]| [Yeah., 1]|   Yeah.|          1|
#|        2|        Yeah. Ok.|        [Yeah., Ok.]|   [Ok., 2]|     Ok.|          2|
#+---------+-----------------+--------------------+-----------+--------+-----------+

【讨论】:

  • 谢谢,您的代码有效,但我最终使用:df.select('*', F.posexplode('SENTENCES_LIST').alias('SENT_NUMBER', 'SENTENCE')) 更合适
  • @user3242036 true 更合适
  • 回想起来,与poseexplode相比,这太过分了。谢谢@pault
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2022-01-18
  • 1970-01-01
  • 2021-06-21
  • 2021-09-19
  • 1970-01-01
  • 2021-12-19
  • 2022-01-16
相关资源
最近更新 更多