支持向量机或人工神经网络进行文本处理？ [关闭]答案

【问题标题】：Support Vector Machine or Artificial Neural Network for text processing? [closed]支持向量机或人工神经网络进行文本处理？ [关闭]
【发布时间】：2011-01-26 22:22:21
【问题描述】：

对于一些文本处理项目，我们需要在支持向量机和快速人工神经网络之间做出选择。

它包括上下文拼写校正，然后将文本标记为某些短语及其同义词。

哪种方法是正确的？或者是否有这两者的替代品......比 FANN 和 SVM 更合适的东西？

【问题讨论】：

我投票结束这个问题，因为它不是关于 help center 中定义的编程，而是关于 ML 理论和/或方法。

标签： artificial-intelligence machine-learning neural-network

【解决方案1】：

我认为您会从两种算法中获得具有竞争力的结果，因此您应该汇总结果...考虑集成学习。

更新：
我不知道这是否足够具体：使用贝叶斯最优分类器来结合每个算法的预测。你必须训练你的两种算法，然后你必须训练贝叶斯最优分类器来使用你的算法并根据算法的输入做出最优预测。

将你的训练数据分成3个：

第一个数据集将用于训练（人工）神经网络和支持向量机。
第二个数据集将用于通过从 ANN 和 SVM 获取原始预测来训练贝叶斯最优分类器。
第三个数据集将是您的资格数据集，您将在其中测试经过训练的贝叶斯最优分类器。

更新 2.0：
创建算法集合的另一种方法是使用10-fold (or more generally, k-fold) cross-validation：

将数据分成大小为 n/10 的 10 组。
在 9 个数据集上训练并在 1 个数据集上进行测试。
重复 10 次并取平均准确度。

请记住，您通常可以结合使用许多分类器和验证方法来产生更好的结果。只需找到最适合您的域的方法即可。

【讨论】：

你能帮我详细说明一下到底要使用什么吗？
@Akrid 我更新了我的评论...这有帮助还是您需要更多信息？

【解决方案2】：

您可能还想看看maxent classifiers (/log linear models)。

它们在 NLP 问题上非常受欢迎。现代实现使用准牛顿方法进行优化，而不是较慢的迭代缩放算法，比 SVM 训练得更快。对于正则化超参数的确切值，它们似乎也是less sensitive。如果您想使用内核免费获得特征连接，您可能应该只喜欢 SVM 而不是 maxent。

对于 SVM 与神经网络，使用 SVM 可能比使用 ANN 更好。与 maxent 模型一样，训练 SVM 是一个凸优化问题。这意味着，给定数据集和特定的分类器配置，SVM 将始终找到相同的解决方案。在训练多层神经网络时，系统可以收敛到各种局部最小值。因此，您将获得更好或更差的解决方案，具体取决于您用于初始化模型的权重。使用 ANN，您需要执行多次训练运行才能评估给定模型配置的好坏。

【讨论】：

虽然我喜欢 Hal 的博客，但在 MS Paint 中绘制的绘图并不能真正证明逻辑回归对超参数选择的敏感性不如 SVM。不过，否则很好的答案。

【解决方案3】：

您可以使用卷积神经网络 (CNN) 或循环神经网络 (RNN) 来训练 NLP。我认为 CNN 现在已经达到了最先进的水平。

【讨论】：

【解决方案4】：

这个问题很老了。在过去的 7 年里，NLP 领域发生了很多发展。

Convolutional_neural_network 和 Recurrent_neural_network 在此期间演变。

词嵌入：出现在相似上下文中的词具有相似的含义。词嵌入是针对一项任务进行预训练的，目标是根据上下文预测一个词。

用于 NLP 的 CNN：

首先将句子标记为单词，然后将其进一步转换为 d 维的单词嵌入矩阵（即输入嵌入层）。
在此输入嵌入层上应用卷积滤波器以生成特征图。
对每个过滤器进行最大池化操作，获得固定长度的输出并降低输出的维数。

由于 CNN 存在不能保存长距离上下文信息的缺点，因此引入了 RNN。

RNN 是专门的基于神经的方法，可有效处理顺序信息。

RNN 会记住先前计算的结果并将其用于当前计算。

RNN 的变化很少 - 长短期记忆单元 (LSTM) 和门控循环单元 (GRU)

看看下面的资源：

deep-learning-for-nlp

Recent trends in deep learning paper

【讨论】：