折腾了几天，终于把语料库创建工具CorpusCreator弄的差不多了。线程部分修正了几次，想来应该没问题了。刚才拿来用Debug版挂在调试器下进行了超大规模语料库创建，8000个语料。从头到尾总算是没崩溃，多线程处理的，界面也响应迅速。使用的本机MySql数据库，语料库创建速度达到了130多KB/S！来检查语料库创建结果时，发现少创建了170个左右的语料！居然没报错，郁闷了！还好，分词模块一直运行正常，在命令行下用SQL语句抽查了好几个语料都分词正常！
相关文章：
相似解决方案
热门标签