【问题标题】:From "descriptions with typos" to "labels"从“有错别字的描述”到“标签”
【发布时间】:2014-08-12 20:27:38
【问题描述】:

背景

我确实有一个图像数据集(类似于ImageNet),每张图像都有一个“有错别字的描述”。我想在这个人身上运行一些深度卷积神经网络,但我需要先生成“标签”。那么问题来了:

问题

如何从“有错别字的描述”中生成类别的“标签”?

技术资料

数据集有大约 1300 万张图像,带有相应的(有效的)“描述”和可选的“错别字”。以下是“描述”的一些示例:

想法

我正在考虑通过以下方式解决问题。

  1. 修正错别字:
    • 运行拼写检查以识别拼写错误;
    • 找到可以修复它的更好的词,通过
      • 查看数据集中的其他描述,或
      • 检查图像并手动更正错字;
  2. 生成最终标签:
    • 对句子嵌入(将句子映射成 ℝᴺ 的函数)运行聚类算法(例如 k-means)或
    • 使用最常出现的词。

【问题讨论】:

  • 不要无缘无故地投票,因为这个问题确实显示“研究工作”,它是“明确”和 “有用”,向提出要求的用户写一些东西会更好。如果缺少某些内容或建议算法解决方案(这就是本网站的全部内容),请询问更多信息。
  • 我认为这个问题是有效的,而且是一个很好的问题。但这可能是题外话。在Computational Science SE 之类的网站上提问怎么样?
  • 我想说这不是 OT,但我想说CrossValidated 更适合得到答案。
  • 谢谢你们的cmets。由于我的问题的性质,我仔细考虑了“在哪里”写这个问题,最终我得出结论,因为它是关于“算法解决方案”,stackoverflow 是最合适的。这与统计推断无关,也与特定的数值方法无关。但是,如果有经验的用户认为这个问题有更好的位置,我会轻轻地邀请他们把它移到那里。

标签: label spell-checking text-processing text-parsing word-cloud


【解决方案1】:

这里有一些想法:

  1. 您应该清楚地运行拼写检查,否则您的标签会更加嘈杂。选项:

    • 检查信息检索课程并实施检查,谷歌讲座3-容错-检索-handout-6-per.pdf(我敢打赌这不是要走的路)如果你想要频率,谷歌“自然语言语料库数据”

    • 使用一些代码http://norvig.com/spell-correct.html(在许多语言中)

  2. 关于标签(我猜你想要它自动,否则有半自动方法):

    • 使用http://viget.com/extend/tagging-text-automatically我从未使用过它们,但它应该可以正常工作
    • 我不建议使用 k 均值,因为您确实知道组数
    • 使用最常见的词可能适用于少数示例(例如您在此处显示的示例),但可能不适用于许多情况。

希望对你有用

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2011-05-02
    • 2011-01-16
    • 1970-01-01
    • 1970-01-01
    • 2011-05-12
    • 2016-11-10
    • 2012-07-05
    相关资源
    最近更新 更多