使用 Word2Vec 进行文本分类

Question

我很难理解 Word2Vec。我需要根据用户在帮助台系统中的抱怨进行帮助台文本分类。每个句子都有自己的类。

我在互联网上看到了一些预先训练好的 word2vec 文件，但我不知道这是否是最好的工作方式，因为我的问题非常具体。我的数据集是葡萄牙语的。

我正在考虑我将不得不创建自己的模型，但我不知道如何做到这一点。我必须使用与我的句子和类的数据集相同的词吗？

在第一行，列标题。在第一行下面，我有句子和类。有人可以帮我吗？我看到 Gensin 创建矢量模型，听起来不错。但我完全迷失了。

: chamado,classe 'Prezados não estou conseguindo gerar uma nota finance do módulo de estoque e custos.','ERP GESTÃO', 'Não consigo acessar o ERP com meu usuário e senha.','ERP GESTÃO','Médico não consegue gerar receituário no módulo de Medicina e segurança do trabalho.','ERP GESTÃO', 'O produto 4589658 tinta holográfica não está disponível no EIC e não consigo gerar a PO.','ERP GESTÃO',

Answer 1

您的询问非常笼统，通常 StackOverflow 会在您尝试特定事情并遇到特定问题时提供更多帮助 - 这样您就可以提供准确的代码、错误或不足之处进行询问。

但总的来说：

• 您可能根本不需要 word2vec：有许多文本分类方法，只要有足够的训练数据，就可以在不使用词向量的情况下将您的文本分配到有用的类中。您可能想先尝试这些，然后考虑词向量作为以后的改进。

• 要使词向量有用，它们需要基于您的实际语言，并且最好基于您的特定关注领域。来自新闻文章甚至 Wikipedia 的通用词向量可能不包括重要的术语和问题的词义。但是训练你自己的词向量并不难——你只需要大量不同的、相关的文本，这些文本在现实、相关的上下文中使用这些词。所以是的，理想情况下，你会在最终想要分类的相同文本上训练你的词向量。

但大多数情况下，如果您“完全迷失”，请从更简单的文本分类示例开始。当您使用 Python 时，基于 scikit-learn 的示例可能最相关。使这些适应您的数据和目标，以熟悉所有步骤和评估您的更改是否改善最终结果的方法。然后研究诸如词向量之类的技术。