回归模型 Pandas

Question

我目前正在大学完成我的数据分析课程的作业。我设法完成了前两个部分，没有很多问题（EDA 和文本处理）。我现在需要这样做：

建立一个回归模型，该模型将根据以下因素预测每个产品的评分 与评论中使用的一些非常常见的词相对应的属性 （选择多少字留给您作为决定）。所以，对于你的每一个产品 根据每个单词出现的次数，将有一个长的（ish）属性向量 在对该产品的评论中。您的目标变量是评级。

我发现自己对如何解决这个问题有点迷茫。 Here 是我正在使用的数据集的链接。 Review2 是 Review 的词形化版本。

任何有关如何解决此问题的见解将不胜感激！

P.S：我在这里发帖不是为了获得完整的解决方案……只是朝着正确的方向前进

---

编辑：

这是我为我的Ordinal回归写的代码（能不能有一些反馈）：

# Create word matrix
bow = df.Review2.str.split().apply(pd.Series.value_counts)
rating = df['Rating']
df_rating = pd.DataFrame([rating])
df_rating = df_rating.transpose()
bow = bow.join(df_rating)

# Remove some columns and rows
bow = bow.loc[(bow['Rating'].notna()), ~(bow.sum(0) < 80)]

# Divide into train - validation - test
bow.fillna(0, inplace=True)
rating = bow['Rating']
bow = bow.drop('Rating', 1)
x_train, x_test, y_train, y_test = train_test_split(bow, rating, test_size=0.4, random_state=0)

# Run regression
regr = m.OrdinalRidge()
regr.fit(x_train, y_train)
y_pred = regr.predict(x_test)
scores = cross_val_score(regr, bow, rating, cv=5, scoring='accuracy'))

# Plot
pca = PCA(n_components = 1) 
pca.fit(x_validate)
x_validate = pca.transform(x_validate)

plt.scatter(x_validate, y_validate,  color='black')
plt.plot(x_validate, y_pred, color='blue', linewidth=1)
plt.show()

这就是剧情的样子（取自here）：

是否有可能对代码有一些反馈，并可能以更好、更丰富的方式来绘制结果（我不太了解回归是否表现良好）

Answer 1

建立一个回归模型来预测每个人的评分 基于与一些非常常见的词相对应的属性的产品 在评论中使用（选择留给您的字数作为 决定）。因此，对于每个产品，您将有一个长的（ish）向量 属性基于每个单词在评论中出现的次数 这个产品。您的目标变量是评分。

让我们把它拆成几块！

因此，对于每个产品，您将有一个长的（ish）向量 属性基于每个单词在评论中出现的次数 这个产品。

这是一个词袋模型，这意味着您必须为您的 words 列或 review 2 列创建一个矩阵表示（仍然保存在 pd.DataFrame 中），并且有一个问题询问如何做到这一点这里：

How to create a bag of words from a pandas dataframe

以下是如何使用 Review2 列创建该矩阵的最小示例：

In [12]: import pandas as pd
In [13]: df = pd.DataFrame({"Review2":['banana apple mango', 'apple apple strawberry']})
In [14]: df
Out[14]: 
                  Review2
0      banana apple mango
1  apple apple strawberry

In [15]: df.Review2.str.split()
Out[15]: 
0        [banana, apple, mango]
1    [apple, apple, strawberry]
Name: Review2, dtype: object
In [16]: df = df.Review2.str.split().apply(pd.Series.value_counts) # this will produce the word count matrix
In [17]: df 
Out[17]: 
   apple  banana  mango  strawberry
0    1.0     1.0    1.0         NaN
1    2.0     NaN    NaN         1.0

词袋模型只计算一个词在感兴趣的文本中出现的频率，不考虑位置，并以这种方式将一组文本表示为一个矩阵，其中每个文本由一行表示，而列显示所有单词的计数。

[...] 基于与一些非常常见的单词相对应的属性 在评论中使用（选择留给您的字数作为 决定）。

现在您已经有了矩阵表示（行是产品，列是每个唯一单词的计数），您可以将矩阵过滤到最常见的单词。我鼓励你看看字数分布的样子。我们将为此使用seaborn 并像这样导入它：

import seaborn as sns

鉴于保存字数矩阵的 pd.DataFrame 称为 df，sns.distplot(df.sum()) 应该可以解决问题。选择一些似乎保留了大量计数但不包括许多低计数单词的截止值。它可以是任意的，现在并不重要。 您的字数矩阵是您的输入数据，或者也称为预测变量。在机器学习中，这通常称为输入矩阵或向量X。

您的目标变量是评分。

输出变量或目标变量是评分列。在机器学习中，这通常称为输出向量y（请注意，有时这也可以是输出矩阵，但最常见的是输出向量）。

这意味着我们的模型尝试调整其参数以将每行的字数数据映射到相应的评分值。

Scikit-learn 提供了很多机器学习模型，例如 logistic regression，它们采用 X 和 y 进行训练，并且具有非常统一的界面。 Jake Vanderplas's Python Data Science Handbook 很好地解释了 Scikit-learn 界面，并向您展示了如何使用它来解决回归问题。

编辑：我们在这里使用逻辑回归，但正如 fuglede 正确指出的那样，逻辑回归忽略了评级是在设定的范围内。为此，您可以使用 mord.OrdinalRidge，其 API 的工作方式与 scikit-learn 非常相似。

在训练模型之前，您应该将数据集拆分为训练集、测试集和验证集 - 一个好的比例可能是 60:20:20。 通过这种方式，您将能够在您的训练集上训练您的模型并评估它对您的测试数据集的预测效果，以帮助您调整模型参数。通过这种方式，您将知道您的模型何时过度拟合您的训练数据，以及何时真正为该任务生成了一个良好的通用模型。这种方法的问题在于，如果您经常调整模型参数，您仍然可以过度拟合您的训练数据。

这就是我们有一个验证集的原因 - 这是为了确保我们不会在不知情的情况下意外地将模型的参数过度拟合到我们的训练和测试集。我们通常只对验证集进行一次测试，以避免对其过度拟合，而且它仅用于最终的模型评估步骤。

Scikit-learn 也有一个功能：train_test_split

train_test_split 但是只进行一次拆分，因此您首先将数据集拆分为 60:40，然后将 40 拆分为 50:50 为测试和验证集。

您现在可以在训练数据上训练不同的模型，并在测试集上使用模型的预测函数对其进行测试。一旦你认为你做得很好并且你的模型足够好，你现在可以在你的验证集上测试它。