使用马尔可夫链（或类似的东西）来生成 IRC-bot答案

【问题标题】：Using Markov chains (or something similar) to produce an IRC-bot使用马尔可夫链（或类似的东西）来生成 IRC-bot
【发布时间】：2011-03-31 15:54:46
【问题描述】：

我尝试了谷歌，发现几乎没有什么我能理解的。

我对@987654321@ 的了解非常基本：这是一个数学模型，只依赖于先前的输入来改变状态。所以是一种具有加权随机机会而不是不同标准的 FSM？

我听说你可以使用它们来生成半智能的废话，给定现有单词的句子以用作各种字典。

我想不出搜索词来找到这个，所以任何人都可以链接我或解释我如何能产生一些给出半智能答案的东西吗？（如果你问它关于馅饼的事，它就不会开始谈论它听说过的越南战争）

我打算：

让这个机器人在 IRC 频道中闲置一段时间
从字符串中删除所有用户名并存储为句子或其他内容
随着时间的推移，以此为基础。

【问题讨论】：

标签： artificial-intelligence nlp markov-chains

【解决方案1】：

是的，马尔可夫链是具有概率状态转换的有限状态机。使用简单的一阶马尔可夫链生成随机文本：

从语料库（文本集合）中收集二元组（相邻词对）统计信息。
制作每个单词一个状态的马尔可夫链。为文本结尾保留一个特殊状态。
从状态/单词 x 跳转到 y 的概率是紧跟在 x 之后的单词 y 的概率em>，根据训练语料库中的相对二元组频率估计。
从一个随机单词 x 开始（可能取决于该单词在语料库中作为句子的第一个单词出现的频率）。然后随机选择一个状态/词 y 跳转到，同时考虑到 y 跟随 x 的概率（状态转移概率）。重复直到到达文本结尾。

如果你想从中获得一些半智能的东西，那么最好的办法就是在大量精心收集的文本上对其进行训练。 “lots”部分使其以高概率产生正确的句子（或似是而非的 IRC 说话）； “精心收集”部分意味着您可以控制它所谈论的内容。引入高阶马尔可夫链在这两个领域也有帮助，但需要更多的存储空间来存储必要的统计数据。您还可以研究诸如统计平滑之类的东西。

但是，让您的 IRC 机器人真正响应所说的内容比马尔可夫链需要很多。可以通过对所说内容执行text categorization（又名主题定位）来完成，然后选择特定领域的马尔可夫链进行文本生成。朴素贝叶斯是一种流行的主题发现模型。

The Practice of Programming 中的 Kernighan 和 Pike 探讨了马尔可夫链算法的各种实现策略。 Jurafsky 和 Martin Speech and Language Processing 深入介绍了这些以及一般的自然语言生成。

【讨论】：

非常感谢；很好的答案！ :D
至于生成与所问问题相关的文本，您可能需要查看MegaHAL。它从输入中提取关键字，然后使用不同的马尔可夫链将这些关键字扩展为句子，从关键字向前和向后。

【解决方案2】：

您想查找 Ian Barber 文本生成 (phpir.com)。不幸的是，该网站已关闭或离线。我有他的文字副本，想发给你。

【讨论】：

【解决方案3】：

在我看来，您同时尝试了多种事情：

在 IRC 中空闲提取单词/句子
建立知识库
听一些聊天，解析关键字
生成一些关于关键字的句子

这些基本上是非常不同的任务。马尔可夫模型通常用于机器学习。不过，我在您的任务中没有看到太多学习内容。

larsmans 的答案展示了如何从基于单词的马尔可夫模型生成句子。您还可以训练权重以支持其他 IRC 用户使用的那些词对。但尽管如此，这不会生成与关键字相关的句子，因为构建/优化马尔可夫模型与“驱动”它不同。

您可以尝试隐藏马尔可夫模型 (HMM)，其中可见输出是关键字，隐藏状态是由这些词对构成的。然后，您可以动态选择更适合特定关键字的句子。

【讨论】：

1,2 和 3 是我很确定我知道该怎么做或可以做的。 4 是我想要马尔可夫链的那个。