[分词]

单机跑,耗时:   68分钟


[ 训练 ]

$ time ./word2vec -train /data/sogou/sohunews_segmented_1line.txt -output /data/sogou/vectors_sohunews.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 30 -binary 1
Starting training using file /data/sogou/sohunews_segmented_1line.txt
Vocab size: 575479   (非重复的词典单词个数 57 万)
Words in train file: 688085439     (数据文件词个数 6.8 亿)
线程数: 30

预计 12.8小时跑完。 

训练出来的文件: vectors.bin     450M


[ 数据来源 ]

ftp://ftp.labs.sogou.com/Data/SogouCS/SogouCS.tar.gz


[几个结果]

上图========> 

用word2vec 跑搜狗SogouCS语料 - 大小4G | 6 8 亿词长 | 57万词汇

用word2vec 跑搜狗SogouCS语料 - 大小4G | 6 8 亿词长 | 57万词汇

           

再分享一下我老师大神的人工智能教程吧。零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!https://blog.csdn.net/jiangjunshow

相关文章: