词法分析（Lexical Analysis) 是编译的第一阶段。词法分析器的主要任务是读入源程序的输入字符、将他们组成词素，生成并输出一个词法单元序列，每个词法单元对应一个词素。这个词法单元序列被输出到语法分析器进行语法分析。
有关原理的介绍参考http://www.cnblogs.com/yanlingyin/archive/2012/04/17/2451717.html
这里就不多说了。
下面直接代码，相关注释在代码中均已经给出，对字符串的处理完全按照自己的思路编写的。
其中读取的是E盘下的test.txt文本文档：
运行结果如下：