【发布时间】:2020-09-16 10:36:48
【问题描述】:
我已经为 iOS 训练了一个 ObjectDetector。现在我想在帧率为 30FPS 的视频上使用它。 ObjectDetector 有点太慢了,一帧需要 85 毫秒。对于 30FPS,它应该低于 33ms。
现在我想知道是否可以缓冲指定时间 x 的帧和预测,然后在屏幕上播放视频?
【问题讨论】:
标签: ios swift buffer avplayer object-detection
我已经为 iOS 训练了一个 ObjectDetector。现在我想在帧率为 30FPS 的视频上使用它。 ObjectDetector 有点太慢了,一帧需要 85 毫秒。对于 30FPS,它应该低于 33ms。
现在我想知道是否可以缓冲指定时间 x 的帧和预测,然后在屏幕上播放视频?
【问题讨论】:
标签: ios swift buffer avplayer object-detection
如果您已经尝试使用更小/更快的模型(并确保您的模型完全优化以在神经引擎上的 CoreML 中运行),我们仅在每第 n 帧进行一次推理就成功了。
结果适合我们的用例,您无法确定我们只是以 5 fps 的速度进行操作,因为我们能够继续以全帧速率显示相机输出。
如果您不需要实时,那么可以,当然您可以存储视频并在之后进行每帧处理;这也可以让您将事物并行化为更大的批量大小。
【讨论】: