【发布时间】:2020-03-08 12:20:20
【问题描述】:
正如您在我的图片中看到的,我有一个名为概率的列,我想从 概率 列创建一个新列。我想从作为数组的概率列中提取值。但是在尝试这样做时,我收到一个错误:
"Can't extract value from probability#52427: need struct type but got struct<type:tinyint,size:int,indices:array<int>,values:array<double>>"
这是我的提取码:
preds_test = preds.withColumn("newCol", col("probability").getItem(3))
谁能告诉我我做错了什么?
【问题讨论】:
-
尝试第一个选项时出现此错误No module named 'pyspark.ml.functions'
标签: scala apache-spark pyspark pyspark-dataframes