基于python中的电子邮件主题和正文多分类

Question

我的数据集如下。

主题栏是指电子邮件主题和问题描述，问题详细信息栏是指电子邮件正文。

基于主题和电子邮件正文关键字，我需要分类它应该属于哪个队列。

之前的队列列包含 25 多个不同的类别。

我的数据框形状是 (60697, 4)。

请就我需要遵循的分类方法提出建议。我需要使用哪些 ML 模型来训练数据和测试数据。

我对使用自然语言标记化概念有所了解。

分类更像 gmail 收件箱分类：主要、社交和促销。但是，这里我必须归类为 25+。

Answer 1

我会尝试以下方法：

1. 使用 CountVectorizer 或 TfidfVectorizer 对您的主题和电子邮件正文进行矢量化处理，这样您就拥有了 X 矩阵。您可能需要测试不同的ngram_range，以提高预测性能
2. 分解您的类，因此每个类都应该有一个整数 - 这将是您的 y 向量
3. 将X 拆分为X_train 和X_test 和y 拆分为y_train 和y_test
4. 使用X_test 和y_test 训练一个LogisticRegression 模型
5. 在X_test 和y_test 上测试它 ...

Answer 2

你可以试试 FastText。这是tutorial的链接。

Fasttext 在监督分类的上下文中使用word embeddings 的概念。使用 fasttext 的主要优势是，正如它的名字所说，它非常快。它可以轻松处理 1000 多个类别/标签。