tkinter中的python视频流

Question

我正在尝试将视频帧部分发送到服务器，然后使用线程、tkinter 和 opencv 使用 UDP 套接字在客户端（一种视频流）中再次构建它，但我不明白我的错误/error，真的不知道我划分视频部分的方式是否正确。

服务器：

import socket


IP = "0.0.0.0"
PORT = 8080
LEN = 12000


def main():
    server_socket = socket.socket(family=socket.AF_INET, type=socket.SOCK_DGRAM)
    server_socket.bind((IP, PORT))
    while True:
        msg, add = server_socket.recvfrom(LEN)
        server_socket.sendto(msg, add)


if __name__ == '__main__':
    main()

客户：

import socket
from tkinter import *
from PIL import ImageTk, Image
import cv2
import numpy
import threading


IP = "127.0.0.1"
PORT = 8080
my_socket = socket.socket(family=socket.AF_INET, type=socket.SOCK_DGRAM)
my_socket.connect((IP, PORT))
root = Tk()
main_label = Label(root)
main_label.grid()
cap = cv2.VideoCapture("video.mp4")
LEN = 12000


def send_msg(frame):
    for i in range(0, len(frame), LEN):
        data = frame[i:i+LEN]
        if len(data) == LEN:
            my_socket.sendto(data, (IP, PORT))
        else:
            my_socket.sendto(data + b"done", (IP, PORT))


def recv_msg():
    while True:
        data = b""
        msg, add = my_socket.recvfrom(LEN)
        while b"done" not in msg:
            data += msg
            msg, add = my_socket.recvfrom(LEN)
        data += msg.split(b"done")[0]
        numpy_img = numpy.frombuffer(data, dtype=numpy.uint8)
        numpy_img = numpy_img.reshape((720, 1280, 4))
        img = Image.fromarray(numpy_img)
        tk_img = ImageTk.PhotoImage(image=img)
        main_label.configure(image=tk_img)
        main_label.tk_img = tk_img


def video_stream():
    ret, frame = cap.read()
    cv2image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGBA)
    bytes_img = cv2image.tobytes()
    send_msg(bytes_img)
    main_label.after(50, video_stream)


def main():
    video_stream()
    t1 = threading.Thread(target=recv_msg)
    t1.start()
    root.mainloop()


if __name__ == '__main__':
    main()

错误：

Exception in thread Thread-1:
Traceback (most recent call last):
  File "C:\Users\eitan\Anaconda3\lib\threading.py", line 917, in _bootstrap_inner
    self.run()
  File "C:\Users\eitan\Anaconda3\lib\threading.py", line 865, in run
    self._target(*self._args, **self._kwargs)
  File "E:/Chat/ex_client.py", line 38, in recv_msg
    numpy_img = numpy_img.reshape((720, 1280, 4))
ValueError: cannot reshape array of size 3182400 into shape (720,1280,4)

非常感谢帮助！ 非常感谢！

Answer 1

在错误消息中，大小匹配 1105x720x4（不是 1280x720x4）。

如果您将其设置为该分辨率，它会起作用吗？

numpy_img = numpy_img.reshape((720, 1105, 4))
img = Image.fromarray(numpy_img)

另外，您能否进行测试运行，它不会形成图像等，而只是打印接收到的图像、数据的大小等，看看是否一致（例如，相机实际以该分辨率捕获？或者是因为相机窗口的某些默认大小？-我不知道）。

data = b""
data += msg.split(b"done")[0]

那效率不高，我认为您最好使用具有预期大小的 numpy 数组，并像拆分帧一样使用切片：[i:i+LEN] 等。

另外，最好先握手了解分辨率和格式（我猜你已经意识到了，不压缩发送它，因为即使对于 LAN 来说这也是一种矫枉过正）。

您可以尝试使用不同的数据包大小 (LEN=12000) 以查看错误是否相同：

 LEN=...
 msg, add = my_socket.recvfrom(LEN)