学习目标
• 了解自然语言处理基本知识
• 掌握循环神经网络算法
• 掌握自然语言处理关键技术
• 了解自然语言处理的应用
自然语言处理介绍
什么是自然语言
• 以语音为 物质外壳，由 词汇和 语法两部分组成的 符号系统。 文字和 声音是语言的两种属性。
• 语言是人类交际的工具，是 人类思维的载体；人类历史上以语言文字形式记载和流传的知识占人类知识总量的80%以上。
• 是约定俗成的，有别于人工语言，比如Java、C++等程序设计语言。
什么是自然语言处理
• 自然语言处理（Natural Language Processing，NLP)是 人工智能和 语言学领域的学科分支，它研究 实现人与计算机之间使用自然语言进行有效通信的各种理论和方法。
• 自然语言处理就是，利用计算机为工具对人类特有的 书面形式和 口头形式的自然语言的信息，进行各种类型处理和加工的技术。----冯志伟
• 自然语言处理可以定义为研究在 人与人交际中以及在 人与计算机交际中的语言问题的一门学科。自然语言处理要研制表示 语言能力和 语言应用的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。----Bill Manaris
自然语言处理的基本方法
• 能力模型–基于 规则的方法
• 通常是 基于语言学规则的模型，建立在人脑中先天存在语法通则这一假设的基础上，认为语言是人脑的语言能力推导出来的，建立语言模型就是通过建立人工编辑的语言规则集来模拟这种先天的语言能力。
• 又称“ 理性主义的”语言模型，代表人物有Chomsky、Minsky。
o 制定语法规则（通用）：<noun名词><verb动词><adj形容词><noun名词>
o 制定语义规则（场景化）：
o 使用规则进行校验
• 建模步骤：
o 语言学知识形式化
o 形式化规则算法化
o 算法实现
• 应用模型–基于 统计的方法
• 根据不同的语言处理应用而建立的特定语言模型，通常是通过 建立特定的数学模型来学习复杂的、广泛的语言结构，然后利用统计学、模式识别和机器学习等方法来训练模型的参数，以扩大语言使用的规模。
• 又称“ 经验主义”语言模型，代表人物有Shannon、 Skinner。
o 从大量的英文文本中统计词语的组合搭配频次
o 构建统计模型计算两个句子的概率
• 建模步骤
o 大规模真实语料库中获得不同层级语言单位上的统计信息。
o 依据较低级语言单位上的统计信息运用相关的统计推理技术，来计算较高级语言单位上的统计信息。
自然语言处理研究方向
• 自然语言处理是计算机科学领域以及人工智能领域的一个重要的研究方向，是一门交叉性学科，包括了语言学、计算机科学、数学、心理学、信息论、声学……
• 音位学
• 描述音位的结合规律，说明 音位怎样形成语素。
• 举例：delete file x -> dilet#fail#eks
• 形态学
• 描述语素的结合规律，说明 语素怎样形成单词。
• 举例：unusually -> un+usual+ly
• 词汇学
• 描述词汇系统的规律，说明 单词本身固有的语义特性和语法特性。
• 举例：delete file x -> delete(VERB) file(NOUN) x(ID)
• 句法学
• 描述单词或词组之间的结构规则，说明 单词或词组怎样构成句子。
• 举例：delete file x -> (delete (file x)_NP)_VP
• 语义学
• 描述句子中各成分之间的语义关系， 怎样从构成句子的各个成分推导出整个句子的语义。
• 举例：delete file x -> DELETE(FILE(id=x))
• 语用学
• 描述与情景有关的情景语义说明 怎样推导出句子具有的与周围话语有关的各种含义。
• 举例：感染病毒 ->生物病毒 or 计算机病毒
自然语言处理的三个层面
• 词法分析：包括分词、词性标注、命名实体识别等。
• 句法分析：包括句法结构分析和依存关系分析等。短语结构句法体系，依存结构句法体系，深层文法句法分析。
• 语义分析：最终目的是理解句子表达的真实语义。
难点
• 词法歧义：
• 分词：词语的 切分边界比较难确定。
o 严守一/把/手机/关/了
o 严守/一把手/机关/了
• 词性标注：同一个词语在不同的上下文中 词性不同。
o 我/计划/v 考/研/
o 我/完成/了/计划/n
• 命名实体识别：人名、专有名称、缩略词等 未登录词的识别困难。
o 高超/nr/a 华明/nr/nt 移动/nt/v
• 句法歧义：句法层面上的依存关系受上下文的影响。
• 咬死了猎人的狗
o 那只狼咬死了猎人的狗
o 咬死了猎人的狗失踪了
• 语义歧义：
• At last, a computer understands you like your mother.
o 含义1：计算机会像你的母亲那样很好的理解你。
o 含义2：计算机理解你喜欢你的母亲。
o 含义3：计算机会像理解你母亲那样去理解你。
• 语用歧义：
• “你真坏”
o 当对干了坏事的成年人说时，是一种严厉的苛责。
o 当妈妈对淘气的儿子说时，实际表达的是对儿子的一种疼爱。
o 当恋爱中的女孩对男友说时，则是女孩在男友面前撒娇的一种表现。