将带有 Vector 列的 Dataframe 转换为 Dataset - 在案例类中使用哪种类型

Question

我有一个带有 矢量类型列的数据框，这是 onehot 编码器的结果。我们将列命名为 Vector。

使用案例类示例（向量：WhichType），我想将数据框映射到数据集：

val ds = dataframe.as[Example]

问题是：case类中的属性'vector'应该有哪一种类型。

我收到一条错误消息：

需要一个数组字段但得到了 structtype:tinyint,size:int,indices:array;

Answer 1

如果您使用的是 Spark ML，那么您可以使用下面导入的 Vector 类型：

import org.apache.spark.ml.linalg.Vector

case class Example(vector: Vector)