【问题标题】:PHP find relevancePHP 查找相关性
【发布时间】:2010-08-10 11:36:03
【问题描述】:

假设我有 100,000 篇文章的集合,涵盖 10 个不同的主题。我不知道哪些文章实际上属于哪个主题,但我有整篇新闻文章(可以分析它们的关键字)。我想根据它们的主题对这些文章进行分组。知道我会怎么做吗?任何引擎(sphinx、lucene)都可以。

【问题讨论】:

  • 这听起来像是谷歌可能在谷歌新闻部门雇佣了 300 名顶尖人才……不确定是否存在免费提供的文章分类解决方案,尤其是在 PHP 世界中。但你永远不知道;有兴趣看看会发生什么。
  • 我猜这是写学术论文的那种东西:)
  • 首先你需要定义一个标准,你说文章 X 属于主题 Y “?

标签: php lucene sphinx


【解决方案1】:

在机器学习/数据挖掘方面,我们将这类问题称为分类问题。最简单的方法是使用过去的数据进行未来预测,即面向统计: http://en.wikipedia.org/wiki/Statistical_classification,您可以在其中开始使用朴素贝叶斯分类器(常用于垃圾邮件检测)

我建议你阅读这本书(虽然是为 Python 编写的):Programming Collective Intelligence (http://www.amazon.com/Programming-Collective-Intelligence-Building-Applications/dp/0596529325),他们有一个很好的例子。

【讨论】:

    【解决方案2】:

    一个提供机器学习库的 apache 项目是 Mahout。它的特点包括:

    [...] 聚类需要例如文本文档并将它们分组为主题相关的文档组。分类从现有的分类文档中学习特定类别的文档是什么样的,并能够将未标记的文档分配给(希望)正确的类别。 [...]

    你可以在http://mahout.apache.org/下找到Mahout

    虽然我从未使用过 Mahout,只是考虑了一下 ;-),但它似乎总是需要相当多的理论知识。因此,如果您打算在这个问题上花一些时间,Mahout 可能是一个很好的起点,尤其是因为它有据可查。但不要指望这很容易;-)

    【讨论】:

    • Ui,我完全忘了提到另一种选择。如果您寻求类似 mahout 的东西,但更容易实施,请尝试 Bobo-Browse:sna-projects.com/bobo 实际上,我相信 Bobo-Browse 可以在您的情况下做得很好。
    • 嗨朋友,我需要狮身人面像的帮助。我是狮身人面像的新手。如何在本地主机的 wamp 服务器中配置狮身人面像。
    【解决方案3】:

    创建分类器的简单方法:

    手读并将 100K 中的 N 个示例文档存储到您的 10 个主题中的每一个中。通常,示例文档越多越好。

    创建一个 Lucene/Sphinx 索引,其中包含与每个主题对应的 10 个文档。每个文档都将包含该主题的所有示例文档连接在一起。

    要对文档进行分类,请将该文档作为查询提交,方法是将每个单词设置为 OR 词。您几乎总能得到全部 10 个结果。 Lucene/Sphinx 将为每个结果分配一个分数,您可以将其解释为文档与每个主题的“相似性”。

    可能不是超级准确,但如果您不想费力训练真正的朴素贝叶斯分类器,这很容易。如果你想走这条路,你可以谷歌搜索 WEKA 或 MALLET,这两个很好的机器学习库。

    【讨论】:

      【解决方案4】:

      摘自“智能网络算法”(Manning 2009)第 7 章:

      “换句话说,我们将在假设的上下文中讨论我们算法的采用 Web应用程序。特别是,我们的示例引用了受 Google 新闻网站启发的新闻门户。”

      因此,该书第 7 章的内容应该为您提供代码并了解您要解决的问题。

      【讨论】:

        【解决方案5】:

        您可以使用 sphinix 搜索所有 10 个不同主题的所有文章,然后设置一个阈值来确定使文章链接到特定主题的匹配数量,等等

        【讨论】:

        • 问题是,我不知道它会是什么主题。它是动态的。
        【解决方案6】:

        我推荐 Haralambos Marmanis 和 Dmitry Babenko 所著的《智能网络算法》一书。有一章是关于如何做到这一点的。

        【讨论】:

          【解决方案7】:

          我认为这不可能完全自动化,但您可以完成大部分工作。问题是话题从何而来?

          从每篇文章中提取最不常见的单词和短语列表,并将其用作标签。

          然后我会制作一个主题列表并分配属于该主题的单词和短语,然后将其与标签匹配。问题是每篇文章您可能会获得多个主题。

          也许最好的方法是使用某种形式的贝叶斯分类器来确定哪个主题最能描述文章。这将要求您最初训练系统。

          这种技术用于确定电子邮件是否为垃圾邮件。

          这个article might会有所帮助

          【讨论】:

            猜你喜欢
            • 2022-01-06
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 2011-01-10
            • 1970-01-01
            • 1970-01-01
            • 2011-07-31
            相关资源
            最近更新 更多