1.词性
2.马尔科夫模型与维特比
3.蒙特卡罗
4.构建目标函数
词性标准
In corpus linguistics, part-of-speech tagging (POS tagging or also called grammatical tagging or word-category disambiguation,
is the process of marking up the words in a text (corpus) as corresponding to a particular part of speech, based on both its definition, as well as its context —ie.
relationship with adjacent and related words in a phrase, sentence, or paragraph.
A simplified form of this is commonly taught to school-age children, in the identification of words as nouns, verbs, adjectives, adverbs, etc.
隐含马尔可夫模型（Hidden Markov Model）
隐含马尔可夫模型并不是俄罗斯数学家马尔可夫发明的，而是美国数学家鲍姆提出的，隐含马尔可夫模型的训练方法（鲍姆-韦尔奇算法）也是以他名字命名的。隐含马尔可夫模型一直被认为是解决大多数自然语言处理问题最为快速、有效的方法。
马尔可夫假设
随机过程中各个状态St的概率分布，只与它的前一个状态St-1有关，即P(St|S1,S2,S3,…,St-1) = P(St|St-1)。
比如，对于天气预报，硬性假定今天的气温只与昨天有关而和前天无关。当然这种假设未必适合所有的应用，但是至少对以前很多不好解决的问题给出了近似解。
马尔可夫链
符合马尔可夫假设的随机过程称为马尔可夫过程，也称为马尔可夫链。
在这个马尔可夫链中，四个圈表示四个状态，每条边表示一个可能的状态转换，边上的权值是转移概率。
隐含马尔可夫链是上述马尔可夫链的一个扩展：任一时刻t的状态St是不可见的。所以观察者没法通过观察到一个状态序列S1,S2,S3,…,ST来推测转移概率等参数。
但是隐含马尔可夫模型在每个时刻t会输出一个符号Ot，而且Ot和St相关且仅和St相关。这称为独立输出假设。
隐含马尔可夫模型的结构如下图，其中隐含的状态S1,S2,S3,…是一个典型的马尔可夫链。鲍姆把这种模型称为“隐含”马尔可夫模型。
隐含马尔可夫模型的三个基本问题
1、给定一个模型，如何计算某个特定的输出序列的概率？
Forward-Backward算法
2、给定一个模型和某个特定的输出序列，如何找到最可能产生这个输出的状态序列？
维特比算法
3、给定足够量的观测数据，如何估计隐含马尔可夫模型的参数？
训练隐含马尔可夫模型更实用的方式是仅仅通过大量观测到的信号O1，O2，O3，….就能推算模型参数的P(St|St-1)和P(Ot|St)的方法（无监督训练算法），其中主要使用鲍姆-韦尔奇算法。
隐含马尔可夫模型的五元组
HMM是一个五元组（O , Q , O0，A , B）:
1、O:{o1,o2,…,ot}是状态集合，也称为观测序列。
2、Q:{q1,q2,…,qv}是一组输出结果，也称为隐序列。
3、Aij = P(qj|qi)：转移概率分布
4、Bij = P(oj|qi)：发射概率分布
5、O0是初始状态，有些还有终止状态。
构建词性与词频--词袋：
tag2id, id2tag = {}, {} # maps tag to id . tag2id: {"VB": 0, "NNP":1,..} , id2tag: {0: "VB", 1: "NNP"....}
word2id, id2word = {}, {} # maps word to id
for line in open('traindata.txt'):
items = line.split('/')
word, tag = items[0], items[1].rstrip() # 抽取每一行里的单词和词性
if word not in word2id:
word2id[word] = len(word2id)
id2word[len(id2word)] = word
if tag not in tag2id:
tag2id[tag] = len(tag2id)
id2tag[len(id2tag)] = tag
M = len(word2id) # M: 词典的大小、# of words in dictionary
N = len(tag2id) # N: 词性的种类个数 # of tags in tag set
print((M,N))