【问题标题】:Identify the person referred to in an email using ML/NLP使用 ML/NLP 识别电子邮件中提到的人
【发布时间】:2017-11-23 20:47:20
【问题描述】:

我正在从事一个 NLP 项目,其中我有一份与感谢相关的电子邮件列表。我正在尝试从电子邮件内容中确定谁受到了赞赏。这反过来将有助于组织进行我们的绩效评估计划。

除了确定谁受到赞赏之外,我还试图确定一个人所做的工作类型并对其进行评分。我正在使用开放式 NLP(最大熵/逻辑回归)对电子邮件进行分类,并使用某种形式的启发式方法来识别被欣赏的人。

身份识别方法如下:

  1. 确定电子邮件是否与感谢有关
  2. 获取“收件人:”列表中的人员列表
  3. 检查电子邮件中是否提到了该人
  4. 将该人标记为欣赏者

但是,这种方法非常简单,不适用于我们通常看到的复杂电子邮件。一封电子邮件可以包含许多电子邮件 ID 或被提及的人,他们不是感谢的接收者。该人的上下文不可用,因此准确性不是很好。

我正在考虑使用 HMM 和 word2vec 来解决人员问题。如果有人遇到此问题或有任何建议,我将不胜感激。

【问题讨论】:

  • 你应该给你的文本样本。

标签: machine-learning nlp text-mining word2vec


【解决方案1】:

解决此问题的一种方法是使用命名实体识别。你可以在文本上运行类似 Stanford NER 的东西,这将帮助你识别电子邮件中提到的所有人名,然后使用基于规则的分块器,如 Stanford TokensRegex 来提取提到人名和赞赏词的句子。

解决此问题的最佳方法是将其视为监督学习问题。然后,您将需要使用实体和表达式短语以及它们之间的关系来注释一堆训练数据。然后你可以使用斯坦福关系提取器来提取适当的关系。

【讨论】:

    【解决方案2】:

    对 R 使用 tm 包。并使用 tf-idf(词频 - 逆文档频率)来确定谁被欣赏了。

    我之所以提出这个建议是因为,就我所读到的而言,这是一种无监督学习(您不会先了解谁)。因此,您必须描述文档(电子邮件)的内容,并且该公式 (tf-idf) 将有助于了解在特定文档中使用最多的单词在其他文档中很少使用。

    【讨论】:

      猜你喜欢
      • 2012-02-24
      • 2021-04-14
      • 2013-11-25
      • 2017-01-14
      • 1970-01-01
      • 1970-01-01
      • 2021-05-09
      • 2021-12-21
      • 2018-11-02
      相关资源
      最近更新 更多