分词,即将连续的字序列按照一定的规范重新组合成词序列的过程,它是一种自然语言处理技术,这里的分词指中文分词,其本质是提取一个字符串中的词组或者字。
其详细代码非常简单,如下:
#导入jieba分词模块
import jieba
#记录输入的文件路径
filepath = input(\'请输入要读取的文件:\')
#打开文件
with open(filepath,encoding=\'utf-8\') as f:
#读取文件内容并分词
words = jieba.lcut(f.read())
#替换换行符
print(words)
结果:
[\'1\', \'.\', \'用\', \'代码\', \'行数\', \'来\', \'评估\', \'程序\', \'的\', \'开发进度\', \',\', \'就\', \'好比\', \'拿\', \'重量\', \'来\', \'评估\', \'一个\', \'飞机\', \'的\', \'建造\', \'进度\', \'\n\', \'2\', \'.\', \'程序\', \'不是\', \'年轻\', \'的\', \'专利\', \',\', \'但是\', \',\', \'它\', \'属于\', \'年轻\', \'\n\', \'3\', \'.\', \'作为\', \'一个\', \'程序员\', \',\', \'郁闷\', \'的\', \'事情\', \'是\', \',\', \'面对\', \'一个\', \'代码\', \'块\', \',\', \'缺\', \'不敢\', \'去\', \'修改\', \'。\', \'更\', \'糟糕\', \'的\', \'是\', \',\', \'这个\', \'代码\', \'块\', \'还是\', \'自己\', \'写\', \'的\']