【问题标题】:Java named entity recognition library for Persons Name "Parts"用于人名“零件”的 Java 命名实体识别库
【发布时间】:2015-06-23 22:15:04
【问题描述】:

我当前的项目需要提高客户详细信息的数据质量。

我们遇到的一个问题是,客户的姓名对于名字、中间名和姓氏有单独的数据捕获输入字段,但在许多情况下,姓名的每个部分都输入错误。

我们需要清理我们持有的数据。

此数据质量问题会影响我们在通信中联系客户时,因为我们不知道他们的名字、中间名和姓氏,因此我们使用不恰当的称呼冒犯了一些客户

我们需要一个命名实体识别库,它不仅可以检测 PERSONS 姓名,还可以检测 First、Middle 和 Surnames。

使这项数据质量任务变得更加困难的是,我们拥有近 1 亿客户,我们的客户群遍布全球,因此我们需要能够识别名字、中间名和姓氏,例如给定的名称、父名和不同的部分顺序。有帮助的是我们还了解客户的国籍。

是否存在特定于 Person Name PARTS 的命名实体识别?

我意识到“完美”的解决方案是不可能的,但我确信我可以提高我们目前拥有的数据质量。

我刚刚提到了 First, Middle 和 surnames 作为我最熟悉的名字结构,但是我明白以下是我所面临的例子

In many parts of the world, parts of names are derived from titles, locations, genealogical information, caste, religious references, and so on. Here are a few examples:

    the Indian name Kogaddu Birappa Timappa Nair follows the order villageName-fathersName-givenName-lastName.
    the Rajasthani name Aditya Pratap Singh Chauhan is composed of givenName-fathersName-surname-casteName.

    in another part of India the name Madurai Mani Iyer represents townName-givenName-casteName.

    the Arabic Abu Karim Muhammad al-Jamil ibn Nidal ibn Abdulaziz al-Filistini translates as "Father of Karim, Muhammad (given name), The beautiful, Son of Nidal, Son of Abdulaziz, the Palestinian". Karim is Muhammad's first-born son.

【问题讨论】:

  • 在全球数据库中,您需要处理姓名完全不遵循“名、中、姓”模式的人。
  • 此外,在任何语言或国籍中,姓氏可能与该语言中任何常见的名字相匹配的单词并不少见。例如。约翰杰克。而且很可能无法保证订单。为了有总比没有好,我会根据给定语言/国籍的名字数据库实施一些最佳猜测启发式算法,包括通常作为一些公开报告提供的流行度。
  • 考虑这篇 W3C 文章:Personal names around the world
  • 对于特许权使用费和一般贵宾的特殊情况,我们有一个专门的数据质量部门作为紧急事项纠正这些情况。但是,我们不能对所有 1 亿客户使用这种方法。

标签: java named-entity-recognition


【解决方案1】:

有一个简单、通用的解决方案,公司似乎出奇地不愿意应用:

当且仅当通信确实来自专门为接收者准备通信的人时,才包含称呼。在这种情况下,注意收件人的一部分是写一个正确的称呼,同时考虑到收件人的文化。

如果您使用数据库中的名称通过计算机生成通信,请诚实地说明您在做什么。只需显示提供给您的名称,无论它来自什么形式。不要试图用它来构建正式的称呼。不要以任何方式改变它。显然是由计算机生成但试图假装个人注意力的通信看起来很愚蠢,即使它们的错误程度不足以引起真正的烦恼。

【讨论】:

  • 我的公司是一家大型金融机构,我们的蜗牛邮件每月打印流程定期发布 3000 万封信件,称呼必须在场且正确;但好主意
  • 我不明白从极端大规模生产的事实到需要致敬的逻辑。如果有的话,大规模生产越多,任何个性化尝试看起来就越可笑。
  • 它不是同一封信的批量生产,我的组织有法律义务通知其客户 T&C 对其个人财务协议的更改。产品包括养老金、抵押贷款、保险等。这些信件必须有一定的“语气”,正式的和商务的。
  • @Hector 作为一名投资者,我经常收到来自管理我大部分账户的大银行和管理更多账户的股票经纪人的条款和条件和类似信件。我向你保证,我非常清楚这些企业正在发送数以千万计的信件,而对“语气”一点也不感兴趣。
猜你喜欢
  • 2011-07-31
  • 2010-09-16
  • 2013-10-19
  • 2014-03-17
  • 2018-03-08
  • 2020-07-02
  • 2021-08-18
  • 2021-05-06
  • 1970-01-01
相关资源
最近更新 更多