输入是一个词
输出是一个向量
整个过程无监督
用来训练的是一堆文章
精神:
根据一个词汇的上下文来理解它
具体:
1.count based
两个词经常一起出现,认为它们是相似的
2.prediction-based
给神经网络一个词,神经网络输出下一个词
给两个词:不把它们接在一起,而是共享参数
词向量模型只有一个隐藏层,不是深度学习
为什么:
减小计算量,提高训练效率
输入是一个词
输出是一个向量
整个过程无监督
用来训练的是一堆文章
精神:
根据一个词汇的上下文来理解它
具体:
1.count based
两个词经常一起出现,认为它们是相似的
2.prediction-based
给神经网络一个词,神经网络输出下一个词
给两个词:不把它们接在一起,而是共享参数
词向量模型只有一个隐藏层,不是深度学习
为什么:
减小计算量,提高训练效率
相关文章: