play-services-vision：如何将人脸检测速度与相机预览速度同步？

Question

我有一些代码可以让我在实时摄像头预览中检测人脸，并使用 Google 提供的 play-services-vision 库在他们的地标上绘制一些 GIF。

当人脸静止时效果很好，但当人脸以中等速度移动时，人脸检测器需要比相机的帧速率更长的时间来检测人脸新位置的地标。我知道这可能与位图绘制速度有关，但我采取了一些措施来尽量减少其中的延迟。

（基本上我会抱怨 GIF 的重新定位不够“流畅”）

编辑：我确实尝试过获取坐标检测代码...

    List<Landmark> landmarksList = face.getLandmarks();
    for(int i = 0; i < landmarksList.size(); i++)
    {
        Landmark current = landmarksList.get(i);
        //canvas.drawCircle(translateX(current.getPosition().x), translateY(current.getPosition().y), FACE_POSITION_RADIUS, mFacePositionPaint);
        //canvas.drawCircle(current.getPosition().x, current.getPosition().y, FACE_POSITION_RADIUS, mFacePositionPaint);
        if(current.getType() == Landmark.LEFT_EYE)
        {
            //Log.i("current_landmark", "l_eye");
            leftEyeX = translateX(current.getPosition().x);
            leftEyeY = translateY(current.getPosition().y);
        }
        if(current.getType() == Landmark.RIGHT_EYE)
        {
            //Log.i("current_landmark", "r_eye");
            rightEyeX = translateX(current.getPosition().x);
            rightEyeY = translateY(current.getPosition().y);
        }
        if(current.getType() == Landmark.NOSE_BASE)
        {
            //Log.i("current_landmark", "n_base");
            noseBaseY = translateY(current.getPosition().y);
            noseBaseX = translateX(current.getPosition().x);
        }
        if(current.getType() == Landmark.BOTTOM_MOUTH) {
            botMouthY = translateY(current.getPosition().y);
            botMouthX = translateX(current.getPosition().x);
            //Log.i("current_landmark", "b_mouth "+translateX(current.getPosition().x)+" "+translateY(current.getPosition().y));
        }
        if(current.getType() == Landmark.LEFT_MOUTH) {
            leftMouthY = translateY(current.getPosition().y);
            leftMouthX = translateX(current.getPosition().x);
            //Log.i("current_landmark", "l_mouth "+translateX(current.getPosition().x)+" "+translateY(current.getPosition().y));
        }
        if(current.getType() == Landmark.RIGHT_MOUTH) {
            rightMouthY = translateY(current.getPosition().y);
            rightMouthX = translateX(current.getPosition().x);
            //Log.i("current_landmark", "l_mouth "+translateX(current.getPosition().x)+" "+translateY(current.getPosition().y));
        }
    }
    eyeDistance = (float)Math.sqrt(Math.pow((double) Math.abs(rightEyeX - leftEyeX), 2) + Math.pow(Math.abs(rightEyeY - leftEyeY), 2));
    eyeCenterX = (rightEyeX + leftEyeX) / 2;
    eyeCenterY = (rightEyeY + leftEyeY) / 2;
    noseToMouthDist = (float)Math.sqrt(Math.pow((double)Math.abs(leftMouthX - noseBaseX), 2) + Math.pow(Math.abs(leftMouthY - noseBaseY), 2));

...在 View draw 方法中的一个单独线程中，但它只是给我一个 SIGSEGV 错误。

我的问题：

1. 在这种情况下，将人脸检测器的处理速度与相机预览帧速率同步是正确的做法，还是相反，还是其他方式？
2. 当人脸检测器在相机预览帧中找到人脸时，我是否应该在 FD 完成之前丢弃预览提供的帧？如果是这样，我该怎么做？
3. 我是否应该在相机预览中仅使用 setClassificationMode(NO_CLASSIFICATIONS) 和 setTrackingEnabled(false) 以加快检测速度？
4. play-services-vision 库是否使用 OpenCV，实际上哪个更好？

编辑 2：

我读过一篇研究论文，使用 OpenCV，OpenCV 中可用的人脸检测和其他功能在 Android 中更快，因为它们具有更高的处理能力。我想知道我是否可以利用它来加速人脸检测。

Answer 1

总会有一些延迟，因为任何面部检测器都需要一些时间来运行。当您绘制结果时，您通常会将其绘制在未来的帧上，在该帧中脸部可能已经移动了一点。

以下是一些减少延迟的建议：

Google 的视觉库提供的 CameraSource 实现会在需要时自动处理丢失的预览帧，以便尽可能保持最佳状态。如果您想在您的应用中加入类似的方法，请参阅此代码的开源版本：https://github.com/googlesamples/android-vision/blob/master/visionSamples/barcode-reader/app/src/main/java/com/google/android/gms/samples/vision/barcodereader/ui/camera/CameraSource.java#L1144

使用较低的相机预览分辨率（例如 320x240）将加快人脸检测速度。

如果您只跟踪一张人脸，使用 setProminentFaceOnly() 选项将加快人脸检测速度。使用这个和 LargestFaceFocusingProcessor 也会使这更快。

要使用 LargestFaceFocusingProcessor，请将其设置为人脸检测器的处理器。例如：

Tracker<Face> tracker = *your face tracker implementation*
detector.setProcessor(
    new LargestFaceFocusingProcessor.Builder(detector, tracker).build());

您的跟踪器实施将仅接收它最初找到的最大人脸的人脸更新。此外，它会向检测器发回信号，表明它只需要在该人脸可见的情况下对其进行跟踪。

如果您不需要检测较小的人脸，使用较大的 setMinFaceSize() 将使人脸检测更快。只检测较大的人脸会更快，因为它不需要花时间寻找较小的人脸。

如果您不需要睁眼或微笑指示，您可以关闭分类。但是，这只会给您带来很小的速度优势。

使用跟踪选项也会使此过程更快，但会以一定的准确性为代价。这对一些中间帧使用了预测算法，以避免在每一帧上运行全脸检测的开销。

Answer 2

您无法保证人脸检测速度足够快，即使在头部运动适中时也不会显示明显的延迟。即使你成功地在你的开发设备上优化了它，你肯定会在成千上万的模型中找到另一个模型，那太慢了。

您的代码应该能够适应这种情况。您可以提前一秒预测面部位置，假设它移动平稳。如果用户决定抽动他们的头部或设备，那么任何算法都无济于事。

如果您使用已弃用 Camera API，您应该预先分配一个缓冲区并使用setPreviewCallbackWithBuffer()。这样，您可以保证帧一次到达您的图像处理器。你也不应该忘记open the Camera on a background thread，这样你的繁重图像处理所在的 [onPreviewFrame()](http://developer.android.com/reference/android/hardware/Camera.PreviewCallback.html#onPreviewFrame(byte[], android.hardware.Camera)) 回调就不会阻塞 UI 线程。

• 是的，OpenCV 人脸检测在某些情况下可能会更快，但更重要的是它比 Google 人脸检测器更强大。
• 是的，如果您不在乎微笑和睁开眼睛，最好关闭分类器。性能提升可能会有所不同。
• 我相信关闭跟踪只会减慢 Google 人脸检测器的速度，但您应该自行测量，并选择最佳策略。
• 打开setProminentFaceOnly() 可以获得最显着的收益，但我无法预测此设置对您的设备的实际效果。