【发布时间】:2020-06-09 15:46:10
【问题描述】:
我正在做一个 nlp 项目,并且有包含多个句子的评论。我正在使用 spark-nlp 包,它输出一列,其中包含每个评论中的句子列表。我正在使用 explode 为每个句子创建一行,但我想添加编号,所以我知道哪个句子是第 1 个、第 2 个等。我不知道如何使用 row_number() 因为我真的没有什么要订购的.
我的数据如下所示:
REVIEW_ID REVIEW_COMMENTS SENTENCES_LIST
1 Hi. Sent1. Sent2. [Hi., Sent1., Sent2.]
2 Yeah. Ok. [Yeah., Ok.]
这是我想要的样子:
REVIEW_ID REVIEW_COMMENTS SENTENCES_LIST SENTENCE SENT_NUMBER
1 Hi. Sent1. Sent2. [Hi., Sent1., Sent2.] Hi. 1
1 Hi. Sent1. Sent2. [Hi., Sent1., Sent2.] Sent1. 2
1 Hi. Sent1. Sent2. [Hi., Sent1., Sent2.] Sent2. 3
2 Yeah. Ok. [Yeah., Ok.] Yeah. 1
2 Yeah. Ok. [Yeah., Ok.] Ok. 2
我正在使用下面的代码,但不确定如何使用 row_number(),因为我没有可用作“orderBy”的列,除了它位于 SENTENCES_LIST 中。
df2 = df.withColumn('SENTENCE', F.explode('SENTENCES_LIST'))
df3 = df2.withColumn('SENT_NUMBER',row_number().over(Window.partitionBy('REVIEW_ID').orderBy('????')))
【问题讨论】:
-
您似乎在寻找
pyspark.sql.functions.posexplode?试试看:df2 = df.withColumn('SENTENCE', F.posexplode('SENTENCES_LIST').alias("SENT_NUMBER", "SENT_NUMBER")) -
@pault 'AS 子句中提供的别名数与 UDTF 预期的 2 个别名输出的列数不匹配,但得到了 SENTENCE ;'
-
虽然
df.select('*', F.posexplode('SENTENCES_LIST').alias('SENT_NUMBER', 'SENTENCE'))有效
标签: apache-spark pyspark explode row-number