Greedy NLP Learning Notes（一）

1.What is NLP

NLP(Natural Language Processing)=NLU+NLG
自然语言(Natural Language)：文本、语音
NLU：自然语言理解
NLG：自然语言生成

2.Why NLP is harder than CV

CV：所见即所得
NLP：存在一个理解的过程

3.The challenge of NLP

• 同一个意思存在多种表达

  
  
  

  image.png

• 一词多义

  
  
  

  image.png

• 解决一词多义的方法
  通过对数据学习，获取该词在对应场景下意思的概率

  
  
  

  image.png
  
  

  上下文信息context

  
  
  

  image.png

4.基于统计学的机器翻译

image.png

image.png

• 基于统计学的机器翻译的三大问题

  
  
  

  image.png

• 一个好的语言模型的要素

  
  
  

  image.png

• 机器翻译难度地图（红色最难）

  
  
  

  image.png

5.NLP的应用场景

image.png

image.png

image.png

image.png

image.png

image.png

6.NLP关键技术

image.png

分词->词性标注->命名实体识别->句法分析->依存分析->关系抽取

image.png

image.png

image.png