将图像字节数据流解码为 JPEG

Question

我正在努力成功地从字节解码 JPEG 图像，然后再次解码为 JPEG。

我从 MJPG 字节流中的编码帧开始，我想对其进行解码以便使用 OpenCV 进行操作。我是 Python、numpy、opencv 等方面的新手！

我现在将文本文件中的帧 JPG 数据保存为：b'\xf\xd8\xff\xdb\x00..etc 等用于测试目的：

当我尝试在第 14 行 (npFlat.reshape((640,480)) 上将 numpy 数组的大小调整为原始视频流分辨率 (640, 480) 时，代码似乎失败了

**ValueError: 无法将大小为 228140 的数组重新整形为 (640,480)*

import io
import cv2
import numpy as np

BytesFile = open('FrameBytes.txt')
MyBytes=BytesFile.read()
BytesFile.close()

dt=np.dtype(np.unit8)
dt=dt.newbtyeorder('>')

npFlat = np.fromfile('FrameBytes.txt'.dtype=dt)
npResized = npFlat.reshape(640,480,3) #CODE FAILING TO RESIZE AT THIS LINE...
cv.imshow('resized',npResized)

难道即使我的视频帧是从 640、480 源中捕获的，但由于某种原因，在编码过程中大小发生了变化？这就是我目前所能想到的。欢迎任何/所有帮助。

我已经查看了相关帖子：Python - byte image to NumPy array using OpenCV，但试图避免 PIL，并且 frombuffer 方法对我来说似乎也失败了。

好的，所以我取得了一些进展，现在有了：

npFlat = np.frombuffer(MyBytes.encode('utf-8'),dtype=np.int8).

当我将 npFlat 'reshape' 为 (374, 610) 时，我现在也可以让代码成功。 IE。所以 374 x 610 = 长度为 228140 的平面 numpy 数组......但这一切似乎都很奇怪。缓冲区信息代表我正在尝试重新打开的 JPG……但还没有关闭。

MyBytes.txt" 数据输入文件可在此处查看： https://drive.google.com/file/d/18pqILl9myeTRjdiqtExFyOe94Km_aNNM/view?usp=sharing]1

Answer 1

您的 FrameBytes.txt 文件，尽管扩展名实际上是 JPG 文件 （除非你在保存时弄乱了它）。

所以，你没有用适当的图像阅读器阅读它，而不是字节， 如果您想将其作为图像进行操作。否则，你有 JPEG 编码字节 - 磁盘上的 228140 字节代表图像 解压后有 921600 字节的数据。 （这是合理的 高质量的 jpeg 文件）。

只需使用 PIL 即可：

from PIL import Image

img = Image.open("FrameBytes.txt")
print(img.size) # this should print (640, 480).

# to convert it to a numpy array:
import numpy as np
data = np.array(list(img.tobytes()), dtype="uint8")
data.shape = img.size + (3,)

...

如果您不想使用 PIL，当然，您可以使用其他库 - o​​pencv 本身具有开箱即用的 cv2.imread 方法。

Answer 2

你搞得一团糟——你应该避免将二进制数据保存为文本文件！

将文件内容复制到剪贴板 - 在 Mac 上，命令是：

cat frame.txt | pbcopy

启动 Python 并创建一个名为 s 的变量并将其设置为剪贴板的内容：

s = PASTE_YOUR_CLIPBOARD

现在做：

from PIL import Image
from io import BytesIO

# Load image from BytesIO
im = Image.open(BytesIO(s))

# Display image and save image
im.show()
im.save('result.png')

如果您使用的是 OpenCV，请使用：

import cv2

# Make s as above
s = PASTE_YOUR_CLIPBOARD

i = np.frombuffer(s,dtype=np.uint8)

im = cv2.imdecode(i,cv2.IMREAD_UNCHANGED)

cv2.imwrite('result.png',im)