统计英文文档频率前n单词

#coding:utf-8
#!/usr/bin/python2.6


def statistic_eng_text():
    \'\'\'统计出英文文档中高频词汇\'\'\'
    cnt = Counter()
    np = os.path.join(get_project_path(),\'doc\',\'jack lodon.txt\')
    ff = open(np,\'r\')
    words = ff.read()
    format_text = re.split(\'[\s\ \\,\;\.\!\n]+\',words)

    for w in format_text:#比较的时候注意了大小写，其中有一个 the是以大写字母开始的，所以在notepad中统计出来了，而在代码中没有统计出来

        cnt[w.lower()] += 1#这里需要把单词进行一个转换，避免大小写导致的不匹配
    print cnt.most_common(5)

if __name__ == \'__main__\':
    statistic_eng_text()