【问题标题】:Feeding a queue from a list of arrays of different lengths从不同长度的数组列表中提供队列
【发布时间】:2017-04-27 15:12:21
【问题描述】:

我有一个 不同长度的数组列表(可以是 numpy 数组或只是 int 的列表),我想将它输入到一些 TensorFlow 队列中以测试更大的输入管道——而不是序列化它们并从文件系统中重新读取。有可能吗?

【问题讨论】:

    标签: python input tensorflow queue pipeline


    【解决方案1】:

    我假设您在这里使用的是 RNN,为了让 RNN 采用可变长度数组,您需要将它们用零填充到批处理长度并传入一个值,该值告诉 RNN 每个序列多长时间是。

    我建议在这里采用相同的方法。在将它们传递到 TF 队列之前对其进行填充,并传入另一个指示未填充长度的值。

    如果您不使用 RNN(那么您在使用可变长度输入做什么??)您必须一个接一个地处理它们(您在那里没有给我们提供太多细节)所以只需将它们分解并将它们一个一个地发送到队列中,根据需要在 TF 中读取它们并通过 TF 切片和加入操作重新组合它们。

    【讨论】:

    • 实际上,我正在测试一个对它们进行混洗和批处理的管道(如here 所述),我需要“第一步”以避免通过文件系统。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-03-18
    • 2013-08-02
    • 2016-12-05
    • 2022-07-06
    • 2020-12-14
    • 2019-06-06
    相关资源
    最近更新 更多