【问题标题】:TF-IDF vs XGBoost vs CNNTF-IDF vs XGBoost vs CNN
【发布时间】:2018-03-29 19:19:49
【问题描述】:

我有一个正在执行分类的自然语言数据集。

tf-idf 模型的性能始终优于卷积神经网络模型。

我已经进行了很多超参数调优,但 tf-idf 模型的性能仍然更好。

事实上,tf-idf 模型的性能也优于 XGBoost 模型。

我们可以肯定地说,在某些情况下,基本和原始机器学习模型的性能优于深度学习模型吗?

【问题讨论】:

  • 您的数据大小是多少?课程数量?
  • @vumaasha 我的数据包含大约 85000 多个文档和 16 个类。
  • 您能否就性能差异多少给出一些想法?显示一些代码也可能会有所帮助。这也可能是由于预处理中的错误,例如
  • 准确度:基于 Tf-Idf 的逻辑回归:70.59%,XGBoost:68.22%,CNN:65.88% 准确度是在通用验证集上获得的。
  • 我怀疑这可能是您生成 TF-IDF 向量的方式中的错误。你用的是sklearn吗?您是否一次性在整个数据集上构建 TF-IDF

标签: machine-learning deep-learning conv-neural-network tf-idf


【解决方案1】:

您应该测试一个 RNN 模型。我不认为您的原始机器学习模型比 RNN 模型更好。

【讨论】:

    【解决方案2】:

    根据我的发现,我使用基于命名实体识别、词形还原和 POS 标签的高维特征来研究问题分类器。由于现在每个文档都有一个高维向量,因此 SVM 等算法的性能优于 RNN。因此,我可以有把握地得出结论,对于某些数据集,传统 ML 算法的性能优于基于深度学习的模型。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-05-07
      • 2020-06-23
      • 1970-01-01
      • 2020-09-27
      • 2017-03-04
      • 2020-11-30
      • 2020-11-08
      • 1970-01-01
      相关资源
      最近更新 更多