安装nltk
pip install nltk
打开下载器nltk.download()
其中包括各种语料库，分词模型等
我们下载brown语料包和punkt模型
下载完后可以导入语料库
英文分词
然后对句子进行分词，使用word_tokennize方法的前提是必须要安装分词模型，如punkt
分词后的结果是列表
from nltk.corpus import brown
中文分词
import jieba
一般中文都是用jieba分词
可以发现jieba分词之后返回的是一个生成器，而不是列表
两种模式：全模式，精确模式
全模式：尽可能的提取多的单词
精确模式：尽可能按照中文语义进行分词
词干提取
波特词干提取算法--PorterStemmer
SnowballStemmer--支持多种语言
LancasterStemmer--速度快
词形归并
词性标注
去停用词
停用词：文本里常常出现但是没有实际意义的词
下图可以看出未去除停用词的分词结果和去除停用词的分词结果
总体而言，文本的预处理流程主要有：分词--词性归并--去停用词