当我使用UDF操作列时，它有问题

Question

当我使用UDF处理一个Column时，我不确定UDF是不是一个一个处理这个列中的元素？如果是这样，我无法理解为什么会出现问题。

import pyspark.sql.types as typ
from pyspark.sql.functions import udf,pandas_udf, PandasUDFType
def parse_model(v):
    return v.split(' ')
Parse_model=pandas_udf(parse_model,typ.ArrayType(typ.StringType(),True))
sample_data_df.withColumn('Models',Parse_model('Model')).show(

应该是 细绳 在列中而不是系列中。

AttributeError: 'Series' object has no attribute 'split'

Answer 1

Scalar Pandas 用户定义函数采用pandas.Series 并将结果作为pandas.Series 返回。

由于 v 是 Series 类型，因此您会收到错误消息。像下面这样更新 udf 将解决此问题。

def parse_model(v): 
   return pd.Series([v[0].split(' ')])