【发布时间】:2019-09-11 18:22:55
【问题描述】:
我正在尝试创建一个 sklearn 管道,它将首先提取文本中的平均字长,然后使用 StandardScaler 对其进行标准化。
自定义转换器
class AverageWordLengthExtractor(BaseEstimator, TransformerMixin):
def __init__(self):
pass
def average_word_length(self, text):
return np.mean([len(word) for word in text.split( )])
def fit(self, x, y=None):
return self
def transform(self, x , y=None):
return pd.DataFrame(pd.Series(x).apply(self.average_word_length))
我的目标是实现这一目标。 X 是一个带有文本值的熊猫系列。这行得通。
extractor=AverageWordLengthExtractor()
print(extractor.transform(X[:10]))
sc=StandardScaler()
print(sc.fit_transform(extractor.transform(X[:10])))
我为此创建的管道是。
pipeline = Pipeline([('text_length', AverageWordLengthExtractor(), 'scale', StandardScaler())])
但pipeline.fit_transform() 产生以下错误。
Traceback (most recent call last):
File "custom_transformer.py", line 48, in <module>
main()
File "custom_transformer.py", line 43, in main
'scale', StandardScaler())])
File "/opt/conda/lib/python3.6/site-packages/sklearn/pipeline.py", line 114, in __init__
self._validate_steps()
File "/opt/conda/lib/python3.6/site-packages/sklearn/pipeline.py", line 146, in _validate_steps
names, estimators = zip(*self.steps)
ValueError: too many values to unpack (expected 2)
【问题讨论】:
-
你的括号在创建管道的时候放错了地方,应该是
pipeline = Pipeline([('text_length', AverageWordLengthExtractor()), ('scale', StandardScaler())]) -
但如果没有管道中的估算器,它就无法工作。我只是想转换数据。
-
你得到同样的错误吗? “不工作”是什么意思?
-
您的回答确实解决了一个问题:)。我会将其标记为已回答,但您没有将其发布为答案。编辑:标记
标签: python python-3.x pandas scikit-learn pipeline