【问题标题】:Recommended deep learning model for sequence completion推荐用于序列完成的深度学习模型
【发布时间】:2020-02-12 23:56:01
【问题描述】:

我正在尝试解决序列完成的问题。假设我们有地面实况序列 (1,2,4,7,6,8,10,12,18,20)

我们模型的输入是一个不完整的序列。即 (1,2,4, _ , _ ,_,10,12,18,20)。从这个不完整的序列中,我们想要预测原始序列(Ground Truth 序列)。哪些深度学习模型可以用来解决这个问题?

这是encoder-decoder LSTM架构的问题吗?

注意:我们有数千个完整的序列来训练和测试模型。

感谢任何帮助。

【问题讨论】:

    标签: keras deep-learning


    【解决方案1】:

    在您的序列完成任务中,您是尝试预测序列中的下一个项目还是只学习缺失值? 用缺失数据训练神经网络本身就是一个问题。 如果您使用 Keras 和 LSTM 类型的 NN 来解决您的问题,您应该考虑屏蔽,您可以参考这个 stackoverflow 线程了解更多详细信息:Multivariate LSTM with missing values 关于预测缺失值,为什么不尝试自动编码器?

    【讨论】:

    • 其实我只是想学习缺失值。或者换句话说,如果我输入部分序列,它应该返回完整序列。这是否可以使用任何深度学习方法?
    • 所以这是一个经典的数据插补问题。有基于概率模型或 kNN 或决策树的传统方法——有关更多详细信息,请参阅jmlr.org/papers/v18/17-073.html。但是,是的,如果你愿意,你可以使用深度学习。去噪自动编码器 (DAE) 就是其中之一。一些例子:12
    • 其实我想把这个当作序列预测问题。我想隐藏输入序列中的值范围并预测这些数字。例如。输入序列是 1、2、3、4、5、6、7、8、9、10,然后我隐藏 6、7、8。输入其余值并预测从值 1 到 10 的整个序列。
    【解决方案2】:

    这不完全是序列到序列的问题,这是一个序列标记问题。我建议要么堆叠双向 LSTM 层,然后是分类器,要么是 Transformer 层,然后是分类器。

    编码器-解码器架构需要大量数据才能正确训练,如果目标序列可以是任意长度,则特别有用,只是模糊地取决于源序列长度。它最终会学会用足够的东西来完成这项工作,但序列标签是一个更直接的问题。

    使用序列标签,您可以在输出上设置自定义掩码,因此模型将仅预测缺失的数字。编码器-解码器模型需要先学会复制大部分输入。

    【讨论】:

    • 能否推荐相关链接或代码来解决类似问题?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2019-06-28
    • 2022-10-19
    • 2019-04-08
    • 2018-10-27
    • 1970-01-01
    • 2017-10-22
    • 2018-02-03
    相关资源
    最近更新 更多