向 pyspark DataFrame 添加向量列

【问题标题】：Adding a Vectors Column to a pyspark DataFrame向 pyspark DataFrame 添加向量列
【发布时间】：2018-09-24 18:01:21
【问题描述】：

如何将Vectors.dense 列添加到 pyspark 数据框？

import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.ml.linalg import DenseVector

py_df = pd.DataFrame.from_dict({"time": [59., 115., 156., 421.], "event": [1, 1, 1, 0]})

sc = SparkContext(master="local")
sqlCtx = SQLContext(sc)
sdf = sqlCtx.createDataFrame(py_df)
sdf.withColumn("features", DenseVector(1))

在文件 anaconda3/lib/python3.6/site-packages/pyspark/sql/dataframe.py 第 1848 行给出错误：

AssertionError: col should be Column

它不喜欢将DenseVector 类型作为列。本质上，我有一个 pandas 数据框，我想将其转换为 pyspark 数据框并添加Vectors.dense 类型的列。还有其他方法吗？

【问题讨论】：

标签： apache-spark dataframe pyspark apache-spark-ml

【解决方案1】：

常量Vectors 不能添加为文字。你必须使用udf:

from pyspark.sql.functions import udf
from pyspark.ml.linalg import VectorUDT

one = udf(lambda: DenseVector([1]), VectorUDT())
sdf.withColumn("features", one()).show()

但我不确定你为什么需要它。如果要将现有列转换为 Vectors，请使用适当的 pyspark.ml 工具，例如 VectorAssembler - Encode and assemble multiple features in PySpark

from pyspark.ml.feature import VectorAssembler

VectorAssembler(inputCols=["time"], outputCol="features").transform(sdf)

【讨论】：

谢谢！我想打电话给AFTSurvivalRegression，它只有在“功能”列的类型为VectorUDT时才有效。
然后使用pyspark.ml.features 实用程序。