使用 numpy 切片裁剪时，Opencv 无法保存视频

Question

我正在使用 OpenCV (3.4.6) 从 Raspberry Pi HQ 摄像头捕获视频，该摄像头连接到运行 Raspbian 10 的 Raspberry Pi 4。然后将对象检测算法建议的边界框绘制到捕获的帧上，然后输出保存到视频文件中。

一切都很好，除非我尝试将视频裁剪到我感兴趣的区域。

使用以下行成功裁剪图像（由cv2.imshow 确认）：

frame = frame[0:720, 280:1000]

但是，它也阻止了 out.write 保存的输出 - 我只是得到一个空文件，并且对 Python 和 OpenCV 都是新手，我正在努力找出原因。

我已将代码精简到下面的相关部分（抱歉 - 它仍然有点长 - 我不完全确定什么可能是重要的）：

# begin video capture
    try:
        vid = cv2.VideoCapture(int(video_path), cv2.CAP_V4L2)
        
    except:
        vid = cv2.VideoCapture(video_path)

    out = None
    
    # set capture resolution     
    inputcodec = cv2.VideoWriter_fourcc('M', 'J', 'P', 'G') # forces MJPG codec
    vid.set(6, inputcodec) # sets inputcodec for video capture
    vid.set(3, 1280) # sets video capture width
    vid.set(4, 720) # sets video capture height
    
    if FLAGS.output:
        # by default VideoCapture returns float instead of int
        width = int(vid.get(cv2.CAP_PROP_FRAME_WIDTH))
        height = int(vid.get(cv2.CAP_PROP_FRAME_HEIGHT))
        fps = int(vid.get(cv2.CAP_PROP_FPS))
        codec = cv2.VideoWriter_fourcc(*FLAGS.output_format)
        out = cv2.VideoWriter(FLAGS.output, codec, fps, (width, height))

    while True:
        return_value, frame = vid.read()
        frame = frame[0:720, 280:1000] # crop video to square region of interest
        if return_value:
            frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
            image = Image.fromarray(frame)
        else:
            print('Video has ended or failed, try a different video format!')
            break
    
        frame_size = frame.shape[:2]
        image_data = cv2.resize(frame, (input_size, input_size))
        image_data = image_data / 255.
        image_data = image_data[np.newaxis, ...].astype(np.float32)
        start_time = time.time()

        if FLAGS.framework == 'tflite':
            interpreter.set_tensor(input_details[0]['index'], image_data)
            interpreter.invoke()
            pred = [interpreter.get_tensor(output_details[i]['index']) for i in range(len(output_details))]
            if FLAGS.model == 'yolov3' and FLAGS.tiny == True:
                boxes, pred_conf = filter_boxes(pred[1], pred[0], score_threshold=0.25,
                                                input_shape=tf.constant([input_size, input_size]))
            else:
                boxes, pred_conf = filter_boxes(pred[0], pred[1], score_threshold=0.25,
                                                input_shape=tf.constant([input_size, input_size]))
        else:
            batch_data = tf.constant(image_data)
            pred_bbox = infer(batch_data)
            for key, value in pred_bbox.items():
                boxes = value[:, :, 0:4]
                pred_conf = value[:, :, 4:]

        boxes, scores, classes, valid_detections = tf.image.combined_non_max_suppression(
            boxes=tf.reshape(boxes, (tf.shape(boxes)[0], -1, 1, 4)),
            scores=tf.reshape(
                pred_conf, (tf.shape(pred_conf)[0], -1, tf.shape(pred_conf)[-1])),
            max_output_size_per_class=50,
            max_total_size=50,
            iou_threshold=FLAGS.iou,
            score_threshold=FLAGS.score
        )
        pred_bbox = [boxes.numpy(), scores.numpy(), classes.numpy(), valid_detections.numpy()]
        image = utils.draw_bbox(frame, pred_bbox)
        fps = 1.0 / (time.time() - start_time)
        print("FPS: %.2f" % fps)
        result = np.asarray(image)
        cv2.namedWindow("result", cv2.WINDOW_AUTOSIZE)
        result = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
        
        if not FLAGS.dont_show:
            cv2.imshow("result", result)
        
        if FLAGS.output:
            out.write(result)
        if cv2.waitKey(1) & 0xFF == ord('q'): break
    cv2.destroyAllWindows()

任何有关如何解决此问题的建议将不胜感激。

Answer 1

您创建 VideoWriter 并将其宽度和高度设置为 1280 x 720。

以后您希望它节省 720 x 720 作物吗？那就是问题所在。 frame = frame[0:720, 280:1000] 是一个 720 x 720 数组。

确定您的视频应具有的尺寸，并始终如一地使用它们。视频流无法更改分辨率。