10 隐马尔可夫模型

文章目录

• 10.1 隐马尔可夫模型的基本概念
• 10.1.1隐马尔可大模型的定义
• 10.1.2观测序列的生成过程

• hidden Markov model用于标注问题的统计学习模型,
  • 描述由隐藏的马尔可夫链随机生成观测序列的过程,
  • 属生成模型.
• 先介绍HMM基本概念,
  • HMM的概率计算算法、
  • 学习算法及预测算法.
• 语音识别、自然语言处理、生物信息、模式识别有广泛的应用

10.1 隐马尔可夫模型的基本概念

10.1.1隐马尔可大模型的定义

• 定义10.1(隐马尔可夫模型)
• 关于时序的概率模型,
  • 描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,
  • 再由各个状态生成一个观测而产生观测随机序列
• 隐藏的马尔可夫链随机生成的状态的序列,称状态序列
• 每个状态生成一个观测,
  • 而由此产生的观测的随机序列,称观测序列
  • 序列的每一个位置又可看作一个时刻

 

• 隐马模型由初始概率分布、状态转移概率分布
  • 观测概率分布确定.
• 形式定义如下

 

• $I$I是长度为$T$T的状态序列,$O$O是对应的观测序列

 

 

 

• 是t=1处于状态$q_i$qi​的概率

 

• 隐马模型由初始状态概率向量、状态转移概率矩阵和
  • 观测概率矩阵决定
• 谁和谁决定状态序列,谁决定观测序列

• 隐马尔可夫模型的三要素

 

• 状态转移概率矩阵与初始状态概率向量确定隐藏的马尔可夫链
  • 生成状态序列
• $B$B确定如何从状态生成观测,
  • 与状态序列综合确定如何产生观测序列

 

• 隐马作了两个基本假设
• (1)齐次马尔可夫性假设

• (2)观测独立性假设

 

• 隐马模型可用于标注,
  • 这时状态对应标记
  • 标注问题是给定观测的序列预测其对应的标记序列
  • 可假设标注问题的数据是由隐马模型生成
• 这样可利用隐马模型的学习与预测算法进行标注
• 下看一个隐马模型的例子

 

• 例10.1
• 有4个盒子,每个盒子里红白两种球

• 按下面方法抽球,
• 产生一个球的颜色的观测序列:
• 从4个盒子里以等概率随机选取1个盒子,
  • 从这个盒子里随机抽出1个球,记录颜色后,
  • 放回;
• 从当前盒子随机转移到下一个盒子,规则是:
  • 如果当前是1,下一盒子一定是2
  • 如果当前是2或3,分别以0.4和0.6转到左边或右边
  • 如果当前是4,那么各以0.5停在4或转移到3
• 确定转移的盒子后,再从这个盒子里随机抽1个球,记录颜色,放回
  • 重复5次,得到观测序列

• 观察者只能观测到球的颜色的序列,观测不到球是从哪个盒子取
  出的,即观测不到盒子的序列
• 这个例子中有两个随机序列,一个是盒子的序列(状态序列),一个是球
  的濒色的观测序列(观测序列).
• 前者隐藏的,只有后者可观测.
• 这是个隐马尔可夫模型的例子,根据所给条件,可明确模型的三要素

 

10.1.2观测序列的生成过程