分词不能稳定的工作！！！乱了~~~

这段时间一直忙于分词程序的集成工作，其实有时候做集成比自己看理论再自己写要男的多！！
好不容易可以做分子了但是却不稳定。~~气煞我了~！！！
经过具体的研究和实现~~终于对编码统一有了具体的实现！
接着是对非汉字编码的剔除！使之能正常稳定的工作！不出现段错误！@
即主要做的连个工作为:
》UTF等编码的GB转化
》非汉字编码的剔除