深度学习之Seq_seq网络

知识点

"""
机器翻译：
    历史：
        1、逐字翻译
        2、基于统计学的机器翻译
        3、循环网络和编码
翻译过程： 输入 -- > encoder -->向量  --> decoder -->output
                    （RNN）               （RNN）
seq_seq应用：文本摘要、聊天机器人、机器翻译
seq_seq存在的问题:
    1、压缩损失的信息
    2、长度限制(一般10-20最好)
解决方法：
    Attention机制:高分辨率聚焦再图片的某个特定区域，并以低分辨率感知图像的周围区域的模式
    具体表现为：对encoder层进行加权

    Bucket机制：正常情况要对所有句子进行补全

基础Seq_seq主要包含三个部分：
    1、encoder
    2、隐层状态向量（连接encoder和decoder）
    3、decoder
"""

哎！，还是多看别人博客理解吧

LSTM: https://baijiahao.baidu.com/s?id=1623872630469357398&wfr=spider&for=pc
Attention机制: https://blog.csdn.net/malefactor/article/details/50550211