如何在pyspark中将列添加到另一个数据框？

Question

我是 pyspark 的新手，我正在尝试对我的数据进行一些标记化。 我有我的第一个数据框： reviewID|text|stars

我根据 pyspark 文档对“文本”进行了标记化：

tokenizer = Tokenizer(inputCol="text", outputCol="words")

countTokens = udf(lambda words: len(words), IntegerType())

tokenized = tokenizer.transform(df2)
tokenized.select("text", "words") \
    .withColumn("howmanywords", countTokens(col("words"))).show(truncate=False)

我得到了我的令牌，但现在我想要转换后的数据框，看起来像这样：

字|星

“单词”是我的标记。

所以我需要加入我的第一个数据帧和标记化数据帧以获得类似的东西。 请你帮助我好吗？如何将列添加到另一个数据框？

Answer 1

好的，我现在知道了。我只需要制作：

tokenizer = Tokenizer(inputCol="text", outputCol="words")


tokenized = tokenizer.transform(df2)
tokenized.select("text", "words", "stars").show(truncate=False)

有效！