【问题标题】:Sentiment analysis of non-English texts非英语文本的情感分析
【发布时间】:2015-05-24 01:14:01
【问题描述】:

我想分析用德语编写的文本的情绪。我找到了很多关于如何用英语做到这一点的教程,但我没有找到关于如何将其应用于不同语言的教程。

我有一个想法,使用TextBlob Python 库先将句子翻译成英文,然后进行情感分析,但我不确定这是否是解决此任务的最佳方法。

或者还有其他可能的方法来解决这个任务吗?

【问题讨论】:

  • 您将相同的逻辑应用于您的德语文本。不过,您需要分类的德语文本。那是你被困的地方吗?寻找一个可以使用的德语语料库?
  • @Andy,我基本上想知道是否存在一些已经有训练有素的分类器的库,否则我必须自己做所有事情。
  • 您必须训练自己的分类器。
  • @Andy,谢谢。如果你知道一个好的德语语料库,你真的会帮助我。
  • 如果你想要一个二元情绪的语料库,你可以试试推特,并使用相关的笑脸来搜索具有正负极性的德国推文:) 和:(。你会缺乏一个中立的课程,但它可能有助于快速入门。

标签: python machine-learning nlp sentiment-analysis textblob


【解决方案1】:

现在有一个针对德语文本的预训练情感分类器。 Hugging Face 已经发布了如下两个开源 API。

  1. oliverguhr/german-sentiment-bert
  2. bert-base-german-cased-sentiment-Germeval17

【讨论】:

    【解决方案2】:

    正如 Andy 在上面所指出的,最好的方法是训练您自己的分类器。另一种更快速和肮脏的方法是使用德语情感词典,例如SentiWS,并简单地根据单个单词的极性值(例如通过求和)来计算句子的极性。这种方法并非万无一失(例如,它不考虑否定),但它会相对较快地给出合理的结果。

    【讨论】:

      【解决方案3】:

      自从您 6 年前提出问题以来,非英语语言的情感分析已经取得了很大进展。今天,您拥有非常出色的基于 Hugging Face Transformer 的模型,针对多种语言的情绪分析进行了微调。在我看来,最好的德语是https://huggingface.co/oliverguhr/german-sentiment-bert

      如果您不能或不想运行自己的模型,也可以使用类似我最近开发的 API 的 API:NLP Cloud。我最近添加了上面的德国模型进行情感分析。

      非英语 NLP 仍远非完美。大多数数据集只有英文,但生态系统正在逐步取得进展。

      【讨论】:

        【解决方案4】:

        或者作为分类的替代方法,您可以使用德语主观术语的情感词典。阅读这篇论文 [1] 会很有帮助。使用基于词典的模型的优点是它不需要任何培训。

        另一种方法是尝试混合模型,该模型涉及将词典中的术语作为分类器本身的特征,以及一些手动注释的训练集。

        【讨论】:

        • 您的链接对我来说是 404。 “第一届主观性和情感分析的计算方法研讨会论文集”是您要推荐的文档吗?
        猜你喜欢
        • 2015-10-27
        • 2020-01-23
        • 1970-01-01
        • 2014-01-20
        • 2015-06-04
        • 2020-09-28
        • 1970-01-01
        • 2013-02-25
        • 2018-06-08
        相关资源
        最近更新 更多