如何使用数据框处理列中的不同类型

Question

我有一张如下表，

+----------+-----+
|       tmp|index|
+----------+-----+
| [user1,0]|    0|
| [user1,3]|    1|
|[user1,15]|    2|

我想将 tmp 列拆分为拖列。 tmp 为 String 类型，index 为 Int。

我写的udf如下。

val getUser_id = udf( ( s : (String, Int)) => {
  s._1
})
newSession.withColumn( "user_id", getUser_id($"tmp"))

结果是：

执行用户定义函数失败(anonfun$4: (struct) => string)

你愿意帮帮我吗？

Answer 1

应该是Row 而不是Tuple

import org.apache.spark.sql.Row

val getUser_id = udf( ( s: Row) => {
  s.getString(0)
})

或

val getUser_id = udf( ( s: Row) => {
 val Row(id: String, _) = s
 id
})

但在这里你应该select:

newSession.withColumn( "user_id", getUser_id($"tmp._1"))