Python 的“StandardScaler”和“LabelEncoder”以及“fit”和“fit_transform”不适用于包含浮点数和字符串的 CSV

Question

我在 Google Colaboratory 学习 MPL 回归器并运行了源代码：

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler


scaler = StandardScaler()

data = np.array(table)

scaler.fit(data)
y_index = data.shape[1]-1
sd_x = (scaler.var_[:y_index])**0.5
sd_y = (scaler.var_[y_index])**0.5
mean_x = scaler.mean_[:y_index]
mean_y = scaler.mean_[y_index]


x = (data[:, :y_index]).astype(np.float32)
y = (data[:, y_index]).astype(np.float32)

train_x, test_x, train_y, test_y = train_test_split(x, y, test_size=0.25)
print('Separate training and testing sets!')

它给出了错误ValueError: could not convert string to float: 'Photo Editor & Candy Camera & Grid & ScrapBook'。

所以我检查了问题RandomForestClassfier.fit(): ValueError: could not convert string to float。我也试过sklearn-LinearRegression: could not convert string to float: '--'。

我从fit(data) 更改为fit_transform(data)，但仍然出现同样的错误。然后我从StandardScaler改成了LabelEncoder，从scaler = StandardScaler()改成了scaler = LabelEncoder()。但是出现了不同的错误： ValueError: bad input shape (10841, 13)就行了scaler.fit_transform(data)。

您可以在此处查看来自Kaggle's CSV 的 CSV。 CSV 包含不带引号的字符串和数字（​​包含双引号的价格除外）。

Answer 1

来自 sklearn 的 LabelEncoder 的文档：这个转换器应该用于编码目标值，即 y，而不是输入 X。

特别是，它不适合在完整数据集上使用 LabelEncoder。

如果您只想用唯一和数字 ID 替换分类（即字符串值）列的值，一种方法是在您想要的每一列上应用标签编码器（在拆分数据之前）单独编码。当您的示例代码导入pandas 时，我假设您的数据已加载到pandas.DataFrame 之类的

df = pd.read_csv('/path/to/googleplaystore.csv')

从那里，您可以在每一列上应用编码器：

df['App'] = LabelEncoder().fit_transform(df['App'].values)

您可能还想看看如何在 pandas 中处理 categorical data。

但是，即使对数据集中的每个非数字列执行此操作，在对编码数据拟合模型之前还有很长的路要走（之后您可能希望将 one-hot encoding 应用于这些列，但这很重要取决于您要使用的型号）。

Answer 2

StandardScaler 是 sklearn 的一个预处理类，它接受数字条目并将它们转换为具有 0 均值和单位方差的可能的高斯分布。它不处理文本数据。这就解释了第一个错误。

LabelEncoder 是 sklearn 的另一个预处理类，它获取数据并将它们映射到数字编码表示。 例如：["apple","banana","apple","banana"] 到 [0,1,0,1]

您的数据集有缺失值，您应该先处理它们。通过插补、删除或其他类似方法。

然后你应该转换每列的类型（除了评级之外的所有类型都被认为是对象或字符串）以正确处理每种数据类型。

table = pd.read_csv('googleplaystore.csv')
# check dataset info
table.info()
# check missing values
table.isna().sum()

Answer 3

说实话，我认为这更像是一个概念问题，而不是技术问题。正如其他用户告诉您的那样，StandarScaler 必须用于数字列，但您的大多数数据框列都是 object 类型。可能你应该在上面使用OneHotEncoder，sklearn 上的所有转换器都有类似的行为。

from sklearn.preprocessing import OneHotEncoder
ohe = OneHotEncoder(handle_unknown='ignore')
ohe.fit_transform(X)  # your data without target column
# ...blabla...

最后，我建议你阅读 sklearn 中的 Pipelines，我认为它们比很多乱七八糟的代码更优雅。您可以将预处理和建模步骤放在同一管道上，例如 here。