【问题标题】:Text classification with word2vec stack overflow tag predictor使用 word2vec 堆栈溢出标签预测器进行文本分类
【发布时间】:2020-05-16 20:11:24
【问题描述】:

我正在使用堆栈溢出标记预测器。

我有一个数据框 df,其中包含一个功能“帖子”和标签“标签”,可以是多个标签。

我的 df 是:

Tags    post

0   [php]   check upload file image without mime type woul...

1   [firefox]   prevent firefox close press ctrl-w favorite ed...

2   [r] r error invalid type list variable import matl...
3   [c#]    replace special character url probably simple ...

4   [php, api]  modify whois contact detail function modify mc...

... ... ...
179995  [delphi]    intraweb isapi module throw unrecognized comma...

179996  [c] opencv argc argv confusion check opencv tutori...

179997  [android]   list data sdcard want display file name reside...

179998  [java, email]   add sort extension imap server mail server sup...

179999  [linux, php]    create carddav ldap server share host via php ...

所以我想使用 word2vec 进行分类并预测标签。

我想使用所有机器学习分类器,如 SVM、随机森林等。

我也想要标签的分类报告。

所以请帮帮我。

【问题讨论】:

  • 嗨,我知道你是这个网站的新手,想分享一些对你有帮助的信息。如果没有更多信息,您的问题很难有人回答,因此请查看stackoverflow.com/review/helper/25240494 了解如何提出一个好问题的信息。当您在那里时,阅读更多帮助文档会有助于您更有价值地使用本网站。

标签: python machine-learning data-science text-classification


【解决方案1】:

word2vec 不是分类器,它是词向量转换器,我的建议步骤 1)预处理文本(如停用词和规范化) 2) 使用 TF-IDF 或 word2vec 将单词转换为向量 3) 然后应用 ml 模型(对于多分类,您可以使用 SVM、朴素贝叶斯和逻辑回归) 4)验证结果

【讨论】:

  • 我是由 TF-IDF 完成的。我不知道怎么用 word2vec 来做。请给我一个代码。
  • 浏览一下你会明白的堆栈。你必须使用 genism 导入并使用
猜你喜欢
  • 1970-01-01
  • 2023-03-21
  • 2020-10-08
  • 2016-05-15
  • 1970-01-01
  • 2011-12-11
  • 2018-09-13
  • 2013-10-30
  • 2011-10-26
相关资源
最近更新 更多