【问题标题】:How to automatically excerpt user generated content?如何自动摘录用户生成的内容?
【发布时间】:2009-09-23 21:35:13
【问题描述】:

我经营一个允许用户写博客的网站,我很想总结写的内容并用它来填充<meta name="description".../>-tag。

我可以使用哪些方法来自动总结/描述用户生成内容的内容?
有没有(最好是免费的)方法可以解决这个问题?

(我看到其他网站只是复制前 100 个左右的单词,但我觉得这是一个次优的解决方案。)

【问题讨论】:

    标签: artificial-intelligence nlp user-generated-content


    【解决方案1】:

    将摘要任务视为从文档中“选择最重要的句子”的挑战。

    H.P. 在The Automatic Creation of Literature Abstracts 中描述的方法。 Luhn (1958) 描述了一种实际上执行得很好的简单方法。试一试。

    如果您的网站使用 Python 编码,则使用 NLTK(自然语言工具包)的算法是一项有趣的任务。

    【讨论】:

    • 不幸的是它在 PHP (+1) 中
    【解决方案2】:

    让它可预测。

    从用户的角度来看,简单地使用第一段一点也不差。 在某些情况下,使用任何自动化必然会失败。所以我建议显示 第一段(可能在某些时候被截断)作为摘要,并提供通过可选字段覆盖它的能力。

    【讨论】:

      【解决方案3】:

      我可能会尝试使用机械 Turk 或任何数量的其他众包选项。

      【讨论】:

        【解决方案4】:

        另一个要检查的项目,SourceForge 项目,AutoSummary Semantic Analysis Engine

        【讨论】:

          【解决方案5】:

          【讨论】:

          【解决方案6】:

          雅虎为此提供了一个免费的 API: http://developer.yahoo.com/search/content/V1/termExtraction.html

          【讨论】:

          • 此服务从给定的字符串中提取关键字。很好,但没有回答问题。
          【解决方案7】:

          Apple 的 patent 6424362 - Auto-summary of document content 包含可能有用的示例代码...

          【讨论】:

          • 不知何故,使用专利中的代码似乎不是最佳的合法选择。
          【解决方案8】:

          这与人工智能有关,因此不会有“简单”的解决方案,但有针对此问题的产品。

          请查看Copernic Summarizer,仅此而已。

          【讨论】:

            【解决方案9】:

            名词短语通常是句子的重要元素。选择具有高密度名词短语的句子可以产生一个很好的总结。您可以使用词性标注器获取名词短语。

            为了一个好的总结,最好是一个有意义的句子。读断句有点刺耳。

            【讨论】:

              【解决方案10】:

              或者,当作者发布文章时,作者可以突出显示可以在描述中使用的关键字,然后可以自动放入元描述标签中。

              【讨论】:

              • 我一直在考虑这个选项.. 但我想让系统对用户来说尽可能简单。所以这个选项是不可能的。 (它非常适合付费贡献和其他东西,但不适用于我的观众)
              猜你喜欢
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              • 2014-05-19
              • 2018-02-14
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              • 1970-01-01
              相关资源
              最近更新 更多