不正确的训练结果 dlib

Question

我正在尝试训练 train_shape_predictor_ex 以检测印度钞票中的以下图像。我正在使用 34 个不同的图像，点击和扫描。 使用

成功训练模型

taining error = 0
testing error = 0.35468-6

我尝试将过采样参数从 300 更改为 12000 但仍然是相同的结果。 我做错了什么？

绘图代码 - 从图像加载到绘图步骤：

    image_window win;

    frontal_face_detector detector = get_frontal_face_detector();
    shape_predictor pose_model;
    deserialize("sp.dat") >> pose_model;

    while (!win.is_closed())
    {
        cv::Mat temp;
        cap >> temp;


        cv_image<bgr_pixel> cimg(temp);

        std::vector<rectangle> faces = detector(cimg);

        std::vector<full_object_detection> shapes;
        for (unsigned long i = 0; i < faces.size(); ++i)
        {
            full_object_detection shape = pose_model(cimg, faces[i]);
            std::vector<rectangle> dets = detector(cimg);

            shapes.push_back(pose_model(cimg, faces[i]));

            win.clear_overlay();
            win.set_image(cimg);
            win.add_overlay(dets, rgb_pixel(255, 0, 0));
            win.add_overlay(render_face_detections(shapes));
       }
    }

Answer 1

正如我现在所看到的 - 您正在尝试训练只有 14 个点的自定义 shape_predictor，同时使用 Dlib 的 render_face_detections 函数，该函数需要 Dlib 的具有 68 个点的面部形状。 render_face_detections 不会正确绘制你的形状，应该抛出异常。

为了使您的形状预测工作，请确保您遵循以下条件：

1. 每张图片上每个点的含义应该相同。不要将第 0 点放在第一个图像的耳朵上，而将第 0 点放在第二个图像的鼻尖上
2. 如果您的数据集较小，则不应手绘对象边界框。如果您使用人脸检测器来测试形状预测器 - 确保您的训练/测试图像边界框是通过使用相同的人脸检测器检测人脸来制作的。是的，您可以手绘 whis 边界框，但请确保它们具有相同的大小和位置，就好像它们将被检测到一样。 您将 box 放入训练集的方式应该与您将来获得它的方式相同。
3. 不需要将所有点都放在人脸边界框内。真的，它可以有任何大小和位置，即使是鼻尖（或完整的鼻翼）上每张脸的静态 10x10 框也可以——但你应该有足够的训练样本。并遵循先前的条件
4. 使用尽可能多的图片。 34 幅图像不足以训练形状预测器 - 如果只是将它们记住在其内部存储器中并且将来不会工作。 Dlib 的形状预测器使用大约 2-3k 图像进行训练。
5. 您可以通过扭曲原始图像来生成新图像 - 缩放、调整大小、添加噪点...
6. 不要使用 Dlib 的测试和绘图功能，如果您的形状预测器没有 68 个点与 dlib 的面部形状预测器具有相同的含义。您可以使用它的源代码并根据需要制作您的功能