X_train 和 y_train 是什么？

Question

我想开始使用机器学习开发应用程序。我想对文本进行分类 - 垃圾邮件或非垃圾邮件。我有 2 个文件 - spam.txt、ham.txt - 每个文件包含数千个句子。如果我想使用分类器，比如说LogisticRegression。

例如，正如我在互联网上看到的，为了适合我的模型，我需要这样做：

`lr = LogisticRegression()
model = lr.fit(X_train, y_train)`

所以我的问题来了，X_train 和 y_train 实际上是什么？我如何从我的句子中获得它们？我在互联网上搜索，我不明白，这是我的最后一个电话，我对这个话题很陌生。谢谢！

Answer 1

根据文档（见here）：

• X 对应于形状为 (n_samples, n_features) 的浮点特征矩阵（又名。训练集的设计矩阵）
• y 是形状为 (n_samples,) 的浮点目标向量（标签向量）。在您的情况下，标签 0 可能对应于垃圾邮件示例，1 可能对应于火腿示例

现在的问题是如何从文本数据中获取浮点特征矩阵。

一个常见的方案是使用 tf-idf 矢量化（更多关于这个here），它在sklearn 中可用。

矢量化可以通过sklearn 的Pipeline API 与逻辑回归链接。

这大概是代码的样子

from itertools import chain

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression

import numpy as np

# prepare string data
with open('spam.txt', 'r') as f:
   spam = f.readlines()

with open('ham.txt', 'r') as f:
   ham = f.readlines()

text_train = list(chain(spam, ham))

# prepare labels
labels_train = np.concatenate((np.zeros(len(spam)),np.ones(len(ham))))

# build pipeline
vectorizer = TfidfVectorizer()
regressor = LogisticRegression()

pipeline = Pipeline([('vectorizer', vectorizer), ('regressor', regressor)])

# fit pipeline
pipeline.fit(text_train, labels_train)

# test predict
test = ["Is this spam or ham?"]
pipeline.predict(test) # value in [0,1]