文本分类，如何将文本字符串转换为向量表示

Question

我正在开发一个文本分类程序。我的训练数据是 700 多个文本类别，每个类别包含 1-350 个文本短语。总共 16k+ 短语。需要分类的数据是文本短语。我想对数据进行分类，因此它给了我 5 个最相似的类别。训练数据有很多常用词。

我的第一次尝试是使用 github 上的这个库来使用朴素贝叶斯定理，因为这个库非常易于使用，并且允许我将训练数据加载为字符串。但是其他用户报告了问题，当我尝试对我的数据进行分类时，我的输入要么分类错误，要么未分类。

https://github.com/ptnplanet/Java-Naive-Bayes-Classifier

所以我认为库是问题所在，所以我会尝试不同的库并研究 k 意味着聚类，因为我的数据方差很大。

所以当我查看其他库时，它们都需要输入和训练数据作为向量矩阵。我查看了 word2vec 和 td-idf 来转换文本向量。我了解 tf-idf，并且与其他文档相比，我可以得到这个词的权重。但是如何使用它将输入数据分类？每个类别都会是一个文档吗？还是所有类别都是一个文档？

编辑：数据样本

SEE_BILL-查看账单

SEE_BILL-账单余额

SEE_BILL-我的账单在哪里

SEE_BILL-找不到账单

PAY_BILL-支付账单

PAY_BILL-付款

PAY_BILL-余额不足

PAY_BILL-删除余额

PAST_BILL-上次帐单

PAST_BILL-上一个帐单

PAST_BILL-历史账单

PAST_BILL-去年的账单

Answer 1

首先，您问题的结尾没有任何意义，因为您没有说明要将文本短语分类到哪些类。现在，我可以帮助您对文本短语进行矢量化。

Tf-idf 非常好，但您必须进行良好的预处理才能做到这一点。此外，您必须自己创建向量。问题在于，您将给出数据集中所有不同单词的长度向量，甚至是它们在数据集中出现的不同形式的相同单词。因此，如果您的数据集中有 go 一词，则该词可能会有多种形式，包括 going、Go、gone、went 等。这就是为什么您必须进行良好的预处理，将所有这些形式的单词 go 放到它的根形式中。此外，您必须将整个数据集小写，因为单词 go 和 Go 不一样。但即使你做了所有这些并制作了一个完美的预处理管道，你也会得到长度为 20k+ 的向量。然后，您必须手动选择要保留在向量中的特征（单词）并删除其他特征。这意味着，如果您想拥有大小为 300 的向量，则必须从向量中删除 19 700 个单词。当然，你会留下 300 个最独特的。如果你想更深入地研究它，看看它是如何工作的，你可以查看here

另一方面，word2vec 将任何单词映射到 300 维向量。当然，您必须进行一些预处理，类似于 tf-idf，但这种方法的敏感性要低得多。您可以找到 word2vec 的工作原理here

最后，我建议您使用 word2vec，因为它更容易开始。有谷歌的预训练模型，你可以下载here

Answer 2

两种最流行的方法是：

• 将每个短语/句子表示为一袋单词，您基本上对短语的每个单词进行一次热编码，编码的维度是您的词汇量（单词总数）
• 使用基于流行模型的嵌入，例如 word2vec，它将每个单词放入 X 维向量空间（例如 300 维），因此您的每个短语/句子都是 X 维向量序列

更极端的方法是使用universal-sentence-encoder 等模型嵌入整个句子。简而言之：它类似于word2vec，但不是单词，而是将整个句子转换为（512 维）向量空间。比找到“相似”的句子更容易。