LSTM 和 ros2 -- 在预测前等待图像序列 -- 回调问题答案

【问题标题】：LSTM and ros2 -- wait for image sequence before prediction -- callback issueLSTM 和 ros2 -- 在预测前等待图像序列 -- 回调问题
【发布时间】：2020-06-26 18:47:30
【问题描述】：

我已经实现了一个 LSTM 深度学习模型。我想使用经过训练的模型来预测自动驾驶命令。我使用 LGSVL 模拟器进行交互。在自动驾驶部分，我订阅了 3 个摄像头传感器并发布在一个控制命令主题中。由于它们以不同的速率到达，我使用 ros2 message filters 模块及其 ApproximateTimeSynchronizer 函数进行回调。

在回调中，我使用图像来预测命令。由于我使用 LSTM，因此我根据时间步长将输入图像制作为时间序列序列。例如，如果时间步长 = 2，则模型期望 2 组 3 个相机图像进行预测。所以我同时使用 t 和 t-1 帧图像来预测 t+1。但是，在回调中只收到一组。

所以我的问题是我如何才能等到我得到 2 组（定义了时间步长的变化）图像来进行回调？我可以将图像存储在一个列表中，当它达到适当的预测长度时调用它们？

任何想法都会受到赞赏。谢谢。

链接到 ros 答案网站 -- https://answers.ros.org/question/355905/wait-for-images-before-prediction-time-steps-lstm-callback-issue/

【问题讨论】：

标签： python deep-learning lstm ros

【解决方案1】：

解决了。这完全可以在没有 ROS 的情况下完成。所以，我得到图像。引入一个 (FIFO dequeue) 以 maxlen 作为我定义的时间步长。然后在每次回调时附加到它。当队列长度等于时间步长时，调用 predict 方法。

【讨论】：