如何使用实时预览保存保存高帧率相机图像

Question

我有两个高速 USB3 摄像头 (Ximea)，想编写一个用于图像记录的应用程序。 VGA 分辨率下的帧速率高达 500fps，但我也想在 170fps 下使用 2Mpx 分辨率。 他们的 .Net SDK 告诉我，我应该简单地循环“获取”图像。 我的问题是我不知道如何获取图像并保存它们，同时仍然显示实时预览。每次我添加一些代码来实际更新图片框时，帧速率都会急剧下降。

目前我使用了一个通过

调用的录制功能

Task.Run(() => Record());

在 Record() 内部我有一个循环获取位图

while(record == true)
{
    Camera.GetImage(out myImage, timeout); //From Ximea .Net SDK
    Info = Camera.GetLastImageParams();
    Timestamp = Info.GetTimeStamp();
    ThreadPool.QueueUserWorkItem(state => SaveImage(myImage, filepath, Timestamp));
}

SaveImage 是

private void SaveImage(Bitmap myImage, string filepath, double Timestamp)
{
    try
    {
        lock(myImage)
        {
             myImage.Save(filepath + Timestamp.ToString("0.00000") + ".tif");
        }
    }
    catch{}
}

如何在录制时显示实时预览以及如何使整个代码更稳定（目前由于“对象已在使用中”-错误或“GDI+ 中的一般错误”而导致一些丢帧Image.Save() 调用，我使用 try/catch 语句跳过）？

Answer 1

我相信您可以告诉 Ximea API 您希望传入队列中有多少图像缓冲区...适当地使用 XI_PRM_BUFFER_POLICY 和 XI_PRM_BUFFERS_QUEUE_SIZE 以使该队列长度有点长。 然后，有一个线程，当激活时，将图像从 XI_IMG 结构复制到您自己的缓冲区中。每 n 帧激活一次该线程（基于 Ximea 图像缓冲区队列大小的大小）......但不要在实际调用 xiGetImage 的循环中执行任何内存复制。您可能应该阻止线程以避免撕裂（因为如果您复制数据的速度不够快，Ximea 代码可能会重新使用相同的缓冲区）......但是您可以动态调整数量缓冲区，以便您可以在您拥有的时间内完成您的副本。此外，如果您正在做一些需要很长时间的事情，您可以考虑将图像数据复制到另一个缓冲区...

伪代码（抱歉，它是 C-ish）：

// sync objects and a global image buffer pointer
CRITICAL_SECTION cs;
void *buf;
HANDLE ev;

int CopyImageThreadProc(...)
{
  while (true)
  {
    if (WaitOnSingleObject(ev) == WAIT_OBJ_0)
    {
      EnterCriticalSection(cs);
      // copy the image data at buf where ever you want
      LeaveCriticalSection(cs);
    }
  }
}

int main(...)
{
  // set up ximea api with appropriate buffering

  // create event and critsec, start thread

  while (!done)
  {
    XI_IMG img;
    xiGetImage(dev, 10, &img);

    // every 15 frames, tell your thread to go...
    // if you find that the critsec is causing a hiccup, you can adjust this
    // but remember to adjust the queue length, too
    // if you change this to TRY entercriticalsection, you can determine that
    if ((img.acq_nframe % 15) == 0)
    {
      EnterCriticalSection(cs);
      buf = img.bp;
      SetEvent(ev);
      LeaveCriticalSection(cs);
    }
  }

  // clean up
}

Answer 2

将每个捕获的帧添加到队列中，然后有一个工作线程来获取这些图像，一次一张，并保存它们。尝试同时将多个图像写入磁盘很可能会更慢。此外，任何GDI 对象中的Dispose 始终是Dispose，否则你很快就会遇到麻烦。我认为不这样做会给您带来例外。

至于显示图像，请确保您没有尝试显示每张图像。您的显示器很可能以 60 Hz 的频率运行，因此任何比这更快的都将是浪费。我还怀疑（凭借 GDI 的性能），您不一定能够实现这一点。所以我建议你有第二个队列来显示图像，如果你发现队列变得太大，你的程序需要放慢一点速度，不要将那么多帧推送到队列中。

编辑：当然，正如@Franck 所提到的，如果您的磁盘跟不上，您的队列/缓冲区将很快填满。压缩图像可能会有所帮助，前提是它们具有适合压缩的内容并且您的处理器可以跟上。

编辑：您需要的是生产者-消费者模式。有很多方法可以做到这一点，但其中一种可能是这样的：

// blocking collection
private BlockingCollection<Bitmap> m_Queue = ...

// camera thread
while( run )
{
    var bitmap = GrabFrame();
    m_Queue.Add( bitmap );
}

// worker thread
try
{        
    while( true )
    {
        // Take() will block if the queue is empty
        var bitmap = m_Queue.Take();
        bitmap.Save( ... );
        bitmap.Dispose();
    }
catch( InvalidOperationException )
{
     // you'll end up here if you call `m_Queue.CompleteAdding()`
     // (after the queue has been emptied, of course)
}

至于显示图像，您可能会使用类似的东西，并添加一些代码来确定是否是时候推送新图像了。