【问题标题】:Clustering text data based on sentiment?基于情绪对文本数据进行聚类?
【发布时间】:2022-01-25 11:25:19
【问题描述】:

我正在从亚马逊上抓取评论,目的是进行情绪分析,将它们分为正面负面中性。现在我得到的数据将是文本和未标记的。

我解决这个问题的方法如下:-

1.) 使用 DBScanHDBScanKMeans 等聚类算法标记数据。集群的数量显然是 3。

2.) 在标记数据上训练分类算法。

现在我从未对文本数据执行过聚类,但我熟悉聚类的基础知识。所以我的问题是:

  1. 我的方法正确吗?

  2. 由于我对此有点陌生,因此我可以关注基于文本的聚类的任何文章/博客/教程吗?

【问题讨论】:

  • 你看过nltk.org 吗?这将为您自己进行情绪分析:)
  • 我熟悉nltk库。但我的问题是如何对文本数据进行聚类。我熟悉字符串和数字数据的聚类,但不熟悉文本数据。

标签: python nlp sentiment-analysis multiclass-classification unsupervised-learning


【解决方案1】:

我从未做过这样的实验,但据我所知,这项工作最具挑战性的部分是将sentencesdocuments 转换为固定长度的向量(映射到语义空间)。我强烈建议使用来自huggingface 库的情感分析管道来嵌入句子(这样你可能会利用一些监督)。还有其他选择:

  1. 使用sentence-transformers 库。 (直截了当,仍然很好)
  2. 使用弓。 (最简单的方法,但很难得到你想要的)
  3. 使用 TF-IDF(仍然很简单,但可以简单地完成工作)

达到这一点后(每条评论 ==> 固定长度向量),您可以利用任何您想对它们进行聚类并关注结果的东西。

【讨论】:

    猜你喜欢
    • 2020-02-25
    • 2018-12-26
    • 2015-06-22
    • 2018-08-02
    • 2012-03-03
    • 1970-01-01
    • 2021-01-10
    • 1970-01-01
    • 2018-01-07
    相关资源
    最近更新 更多