我应该如何在 python 中使用 rsquare 和 mse 在多项式回归评估中定义 y_true

Question

from sklearn.preprocessing import PolynomialFeatures
train_x_p = np.asanyarray(train[['FUELCONSUMPTION_COMB_MPG']])
poly = PolynomialFeatures(degree = 3)
train_x_poly = poly.fit_transform(train_x_p)
regr.fit(train_x_poly, train_y)
print('Coefficients: ', regr.coef_)
print('Intercept', regr.intercept_)

test_x_poly = poly.fit_transform(test_x)
test_y_poly1 = np.asanyarray(test[['CO2EMISSIONS']]) #im not sure especially about this line 
test_y_hat_poly1 = regr.predict(test_x_poly)

mse = metrics.mean_squared_error(test_y_poly1, test_y_hat_poly1)
r2 = (r2_score(test_y_poly1,test_y_hat_poly1))
print('MSE&R2SQUARE polynomial linear regression (FUELCONSUMPTION_COMB_MPG): ')
print('MSE: ',mse)
print('r2-sq: ',r2)

还有什么让我觉得 mse 的结果不正确 我应该将测试 y 转换为 poly，如果应该怎么做？

Answer 1

不，您不应该转换您的 y_true 值。多项式特征的作用是它采用x_1, x_2, ..., x_p 预测变量并将选定次数的多项式变换应用于每个预测变量。

如果您有 2 个预测变量 x_1 and x_2 并应用 3 次多项式变换，您最终会遇到以下形式的问题：

y = b_0 + b_1 * x_1 + b_2 * x_1^2 + b_3 * x_1^3 + b_4 * x_2 + b_5 * x_2^2 + b_6 * x_2^3

当预测变量和响应之间存在非线性关系并且您希望使用线性模型来拟合数据时，您希望执行此操作。无论您是否使用多项式特征（或大多数其他回归模型），y_true 都保持不变。

您的代码几乎没问题，除了一个问题 - 您在测试数据上调用 fit_transform，这是您永远不想做的事情。您已经在训练数据上拟合了多项式特征对象，您需要做的就是调用transform 方法来转换您的测试数据。

test_x_poly = poly.transform(test_x)

---

这是一个示例，说明当预测变量和响应之间存在多项式关系时使用多项式特征时的样子。

1. 获取数据（我只会生成一些）

X = np.random.randint(-100, 100, (100, 1))
y = X ** 2 + np.random.normal(size=(100, 1))

1. 训练/测试拆分

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

1. 在训练数据上拟合多项式特征

poly_features = PolynomialFeatures(degree=2)
X_train_poly = poly_features.fit_transform(X_train) # transform the data as well

4. 在训练数据上拟合线性回归模型

reg = LinearRegression()
reg.fit(X_train_poly, y_train)

5. （仅用于说明目的 - 可视化回归线 - 仅适用于只有一个预测变量时）

reg_line_x = poly_features.transform(np.linspace(-100, 100, 1000).reshape((-1, 1)))
reg_line_y = reg.predict(reg_line_x)
plt.scatter(X_train_poly[:, 1].ravel(), y_train)
plt.plot(reg_line_x[:, 1].ravel(), reg_line_y, c="red", label="regression line")
plt.legend()
plt.show()

6. 转换X_test数据并进行预测

# do NOT call fit_transform here
X_test_poly = poly_features.transform(X_test)
y_pred = reg.predict(X_test_poly)

---

还有一种更方便的方法是通过构建一个处理所有事情的管道（在您的情况下是多项式变换和回归），这样您就不必手动执行每个单独的步骤。

from sklearn.pipeline import Pipeline

pipe = Pipeline([
        ("poly_features", poly_features),
        ("regression", reg)
])

y_pred = pipe.predict(X_test)

print(f"r2 : {r2_score(y_test, y_pred)}")
print(f"mse: {mean_squared_error(y_test, y_pred)}")

r2：0.9999997923643911

mse: 1.4848830127345198

---

请注意，在您的情况下，r 平方或 MSE 显示较差的值这一事实并不意味着您的代码是错误的。可能是您的数据不适合该任务，或者您需要使用不同程度的多项式变换 - 您可能欠拟合或过拟合训练数据等。