在 Spark 中将列附加到行

【问题标题】：Append Column to Row in Spark在 Spark 中将列附加到行
【发布时间】：2016-01-13 09:57:05
【问题描述】：

我有一个DataFrame，我想通过一个新列来扩展它。从Rows 创建一个新的DateFrame 解释为here。

我当前的策略是使用 Rows 中的 RowFactory 构造新的 Rows，这些 Rows 被传递到由DataFrame.javaRDD().map(...) 调用的我的地图中，但我担心这可能会产生不必要的成本。

所以我想知道是否可以通过附加新字段来扩展现有的Rows，而不是创建新的Rows。 Row 接口似乎不允许这样做。

【问题讨论】：

【解决方案1】：

正如@Sachin Janani 在评论中提到的，您不能修改行（它是不可变的），但您可以使用withColumn 函数将列附加到DataFrame。例如，下面的代码将添加一个列，其中包含在“text”列中找到的字符串的长度：

val stringLength = udf[Int, String](s => s.length)
val df2 = df1.withColumn("text_length", stringLength(df1("text")))

希望这会有所帮助。

【讨论】：