如何使用 Android 在相机预览中添加卡通脸

Question

我有一个模块可以在实时相机预览中将卡通脸放在眼睛或其他任何地方。我正在使用 Moodme SDK。我已经实现了相机预览。我得到地标 x 和 y 轴值。但我不知道在哪里添加这些地标以及如何使用地标将该图像放在眼睛上。这是在实时摄像头上获取人脸的代码。

 @Override
public void onImageAvailable(ImageReader reader) {
    Image image = imageReader.acquireLatestImage();
    if (image == null) {
        return;
    }
    ByteBuffer yBuffer = image.getPlanes()[0].getBuffer();
    byte[] yBytes = new byte[yBuffer.remaining()];
    yBuffer.get(yBytes);
    ByteBuffer uBuffer = image.getPlanes()[1].getBuffer();
    byte[] uBytes = new byte[uBuffer.remaining()];
    uBuffer.get(uBytes);
    ByteBuffer vBuffer = image.getPlanes()[2].getBuffer();
    byte[] vBytes = new byte[vBuffer.remaining()];
    vBuffer.get(vBytes);

    tracker.processImageBuffer(yBytes, WIDTH, HEIGHT, WIDTH, MDMTrackerManager.FrameFormat.GRAY);
    //renderer.updateTextureImage(yBytes, uBytes, vBytes, image.getPlanes()[1].getPixelStride());
    image.close();

    if (tracker.isFaceTracked()) {
    //    renderer.updateVertices();
    }

    if (tracker.isFaceTracked()) {
        // translate to opengl coordinates
        float[] landmarks = new float[66*2];


        for (int i = 0; i < 66; ++i) {
            if(i >=17 && i <27 || i >=36 && i <48 ) {
                landmarks[2 * i] = 1.0f - tracker.getLandmarks()[2 * i] / (HEIGHT / 2);
                landmarks[2 * i + 1] = 1.0f - tracker.getLandmarks()[2 * i + 1] / (WIDTH / 2);
            }
        }
      // renderer.updateLandmarks(landmarks);
    } else {
      //  renderer.updateLandmarks(null);
    }

    long currentTime = System.currentTimeMillis();
    double fps = 1000.0 / (currentTime - lastFrameTime);

    updater.update(fps);

    lastFrameTime = currentTime;
}

我也使用了人脸检测库，但这并没有给我准确的结果。是否有任何好的人脸检测库并将图像或蒙版放在相机预览上。任何帮助将不胜感激。

Answer 1

有许多库可以在相机预览中添加面罩。几乎所有人都使用 OpenCV。查看这些库。

• FaceFilter
• Face Replace
• FaceTracker
• Android GPUimage

Android GPUimage 似乎在相机预览中添加了图像。类似的question 使用此库在相机预览中添加面罩。您可以查看问题上发布的答案。

FaceFilter 库执行相同的工作，但在捕获的图像上。但是，您可以看到作者发布的库的tutorial 并将其与人脸检测集成。人脸检测有几个教程。这个tutorial 解释了如何实现人脸检测，同时在上面叠加图形。虽然教程中关于叠加图形的内容不多，但或许能解决你的问题。