【问题标题】:How to include datetimes and other priority information for clustering?如何为聚类包括日期时间和其他优先级信息?
【发布时间】:2013-05-18 08:42:23
【问题描述】:

我想对文本进行聚类。我有点理解将 Mahout in Action 中的纯文本内容聚类的概念:

  1. 对输入中的所有术语进行映射(int -> term)并存储到字典中
  2. 将所有输入文档转换为标准化稀疏向量
  3. 进行聚类

我想对文本以及日期时间、位置、与我在一起的人等其他信息进行聚类。例如,我希望将在一个遥远的地方进行为期 10 天的访问所生成的文档放入一个不同的集群中。

我知道我必须编写自己的工具来根据日期时间、位置、标签和(自然)文本制作矢量。我该如何处理?我应该使用内置工具对文本进行矢量化,然后将该输出集成到我自己的矢量中吗?称量尺寸怎么样?

【问题讨论】:

    标签: mahout


    【解决方案1】:

    我不能给你完整的实现细节,因为我不确定,但我可以帮助你解决一个难题。您几乎肯定需要一些上下文分析来提取实体(例如位置、时间/日期、人名)

    为此,请查看 OpenNLP。

    http://opennlp.apache.org/documentation/1.5.3/manual/opennlp.html

    特别是查看词性标注器和名称查找器。

    一旦您提取了相关实体,您“可能”能够使用 Mahout 分类对它们做一些事情(一旦您提取了足够的实体来训练您的模型),但我不确定。

    祝你好运

    【讨论】:

    • 进一步说明,您可以通过结合 OpenNLP 实体提取和 Apache Solr 来实现您的目标 - 使用 groupby 查询(因此您可以对提取的实体进行分组)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-23
    • 1970-01-01
    • 1970-01-01
    • 2012-11-27
    • 2020-06-23
    • 2022-12-21
    相关资源
    最近更新 更多