【问题标题】:Python ValueError : ColumnTransformer, Column Ordering is Not EqualPython ValueError:ColumnTransformer,列顺序不相等
【发布时间】:2020-07-15 00:51:11
【问题描述】:

我整理了以下读取 csv、训练模型和预测请求数据的函数。

我有以下 ValueError :列顺序必须相等,以便在使用剩余关键字时进行拟合和变换

训练数据和用于预测的数据具有完全相同的列数,例如 15。我不确定列的“排序”如何改变。

~/.local/lib/python3.5/site-packages/sklearn/pipeline.py in predict(self, X, **predict_params)
    417         Xt = X
    418         for _, name, transform in self._iter(with_final=False):
--> 419             Xt = transform.transform(Xt)
    420         return self.steps[-1][-1].predict(Xt, **predict_params)
    421 

~/.local/lib/python3.5/site-packages/sklearn/compose/_column_transformer.py in transform(self, X)
    581             if (n_cols_transform >= n_cols_fit and
    582                     any(X.columns[:n_cols_fit] != self._df_columns)):
--> 583                 raise ValueError('Column ordering must be equal for fit '
    584                                  'and for transform when using the '
    585                                  'remainder keyword')

ValueError: Column ordering must be equal for fit and for transform when using the remainder keyword

功能:

numeric_transformer = Pipeline(steps=[

    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())])

categorical_transformer = Pipeline(steps=[
    ('imputer', SimpleImputer(strategy='constant', fill_value='missing')),
    ('onehot', OneHotEncoder(handle_unknown='ignore'))])

preprocessor = ColumnTransformer(
    transformers=[
        ('num', numeric_transformer, numeric_features),
        ('cat', categorical_transformer, categorical_features)])

#Putting data transformation and the model in a pipeline
rf = Pipeline(steps=[('preprocessor', preprocessor),
                     ('classifier', RandomForestClassifier(
                                        n_estimators=500,
                                        criterion="gini",
                                        max_features="sqrt",
                                        min_samples_leaf=4))])

rf.fit(X_train, y_train)

request_data = {'A': [request.A],
                'B': [request.B],
                'C': [request.C],
                'D': [request.D],
                'E': [request.E],
                'F': [request.F],
                'G': [request.G],
                'H': [request.H],
                'I': [request.I],
                'J': [request.J],
                'K': [request.K],
                'L': [request.L],
                'M': [request.M],
                'N': [request.N],
                'O': [request.O]}

df_resp = pd.DataFrame(data=request_data)
response = rf.predict(df_resp)

output = {"Safety Rating": response[0]}

return output

【问题讨论】:

    标签: python pandas scikit-learn data-science


    【解决方案1】:

    我从错误消息中了解到X_train.columns 和df_resp.columns 不一样,但.predict() 需要它们。

    为了强制这种相等,您可以在创建数据框时将X_train 的列列表作为参数传递:

    pd.DataFrame(data=request_data, columns=X_train.columns)

    【讨论】:

    • 但是,当我预测(X_test)时,它工作得很好。当我将它们放入一个函数并从提供 request_data 的类(请求)中预测时,它会引发错误。
    • 我看不到你的变量 X_train 和 X_test。可以assert X_train.columns == df_resp.columns吗?
    • df_resp 供用户输入请求数据中的值。此函数用于 API。所以 X_train 和 X_test 没有出现。但是在放这个功能之前,我用 Notebook 格式试了一下,效果很好。
    • X_train.columns 的输出是什么?可能是索引的东西。
    • df_resp = pd.DataFrame(request_data, columns=X_train.columns) 可以帮助强制列相等。你的代码看起来很不错......
    【解决方案2】:

    您可以使用以下通用函数来正确排序列:

    def rearrange_columns(df, first_order="categorical"):
        """
        ColumnTransformer of scikit-learn Pipeline changes the order of the dataframe columns.
        Use this function to reorder the features columns to be consistent with the ouptut of the pipeline
        """
        cat_ix = [ii for ii, col in enumerate(df.columns.values) if df[col].dtypes=="object"]
        num_ix = [ii for ii, col in enumerate(df.columns.values) if ii not in cat_ix]    
        new_order =  cat_ix + num_ix if first_order == "categorical" else num_ix + cat_ix    
        return [df.columns.values[ii] for ii in new_order]
    

    【讨论】:

      【解决方案3】:

      是的,我在使用 sklearn ColumnTransformer 时得到了同样的结果。这个场景背后的错误是在训练时(在 fit() 期间) columntransformer 逐列选择列的顺序并拟合变压器的参数,以及当时的推理时间,尽管我们给出了正确的数据形状和正确的列但是它仍然会在 columntransformer 上引发错误,因为 这里的顺序很重要。

      解决方案:可以通过加载 columntransformer 并使用它的属性之一(如 columntransformer._df_columns 并将其传递给数据框的列属性,以便在错误时产生正确的属性顺序)柱式变压器正在寻找。这就是我摆脱这个错误的方式。参考下面的例子。

      usecols = preprocessing_pipeline._df_columns.tolist()
      
      if os.path.splitext(dataset_path)[-1] == '.csv':
           df = pd.read_csv(dataset_path,usecols = usecols)
      else:
           df = pd.read_excel(dataset_path,usecols = usecols)
      

      希望这个解决方案会有所帮助。

      【讨论】:

        猜你喜欢
        • 2018-09-16
        • 1970-01-01
        • 2015-12-02
        • 1970-01-01
        • 2014-01-12
        • 2022-10-25
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多