目录
内容回顾
略
自然语言处理概述
NLP(自然语言识别)是和图像识别并行的一个AI子领域
audio :adj. 声音的;[声] 音频的,[声] 声频的
Decision Trees : 决策树
Lexicon:n. 词典,辞典
phoneme:n. 音素,音位
NLP技术应用介绍
应用推荐是一个水很深的领域。这里只是提到了它。
场景的实时翻译,照片翻译等等
根据图片或者其他语境,自动做诗
文本语义分析演示
1 数据集准备
使用爬虫去携程美团等网站爬到酒店评论,分好评差评等。
2数据预处理
引入工具库,读取停用词,类似这类的无实际意义的语气词。
读取评论数据到数组之中
使用中文分词的算法分词
分词的结果进行统计,词频等
然后根据统计结果得到词块
3机器学习建模训练
用机器学习方案去分析语义构建模型
切分数据成训练集和数据集,然后用分类算法去训练分类模型
可以看到测试结果的语义分析准确率为86%
4深度学习建模训练
引入karas框架
构建对应的模型
模型进行拟合训练。最后的准确率是比机器学习要略高的。
------------------------------------------------------过拟合和欠拟合----------------------------------------------------------
https://blog.csdn.net/qq_18254385/article/details/78428887
------------------------------------------------------过拟合和欠拟合----------------------------------------------------------
华为提供自然语言处理的API,模型是已经被框架训练好了的。可以以restFul API的形式(就像之前介绍到的人脸识别前2000免费的那些服务一样)直接调用。公测服务。
基于华为的EI服务构建一个问答机器人
机器与人类对话: 听懂--理解--回答
有较大的实际应用需求量,但现况堪忧。
添加知识库,也就是机器人应该学习到的问答内容
添加问题答案,
然后可以用正常的不同的问话方式,去问这个类型的问题,机器可以自动把答案发给询问者
多轮对话机器人:
多伦对话要预先构建话术,然后根据这个对话逻辑构建每一轮的对话机器人,其实也是一个道理。因为华为的UI界面可以引导,所以这个话术也没多麻烦
使用场景