将大量图像从客户端发送到服务器的有效方法

Question

我正在做一个项目，其中一个客户需要从相机拍摄几张快照（即它实际上是在拍摄一段短时视频，因此是一串帧），然后 将所有图像发送到服务器 然后对这些图像执行一些处理并将结果返回给客户端。

客户端和服务器都在运行Python3代码。

关键部分是图片发送。

首先是一些背景，图像是 *640*480 jpeg* 文件。 JPEG 被选为默认选项，但也可以选择质量较低的编码。它们由相机按顺序捕获。因此，我们有大约 ~600 帧 需要发送。帧大小约为 110KiB。

客户端由 Raspberry Pi 3 型号 B+ 组成。它通过 wifi 将帧发送到 5c 服务器。对于原型版本，服务器和客户端都驻留在同一个 LAN 中。但在连接介质（有线或无线）和区域（LAN 或城域）方面，未来的部署可能会有所不同。

我已经为此实施了几种解决方案：

1. 在服务器和客户端上使用 Python 套接字：我要么在捕获一帧后直接发送 一帧，要么发送 在整个流捕获完成后按顺序排列所有图像。

2. 使用 Gstreamer：我正在客户端上启动 GStreamer 端点，并在流式传输时直接将帧发送到服务器。我正在使用 GStreamer 支持编译的 OpenCV 在服务器端捕获流，然后将它们保存到磁盘。

现在，我面临的问题是，即使两种解决方案都“运行良好”（它们完成了“最终”工作，即向服务器发送数据并接收基于远程处理的结果），我相信有更好的方法可以使用 Python 套接字库或任何其他可用工具将大量数据发送到服务器。

所有的个人研究都是在这件事上完成的，这使我找到了类似于我的解决方案，使用 Python 套接字，或者脱离了上下文（依赖于纯 Python 以外的其他后端）。

通过更好的方式，我假设：

1. 尽可能节省带宽的解决方案。
2. 尽快发送所有数据的解决方案。

对于 1. 我稍微修改了我的第一个解决方案，将所有捕获的帧存档并压缩到一个 .tgz 文件中，然后发送到服务器。它确实减少了带宽使用，但也增加了两端花费的时间（由于解压缩过程）。当数据集很大时，显然尤其如此。

对于 2. GStreamer 允许我在服务器上捕获和接收之间的延迟可以忽略不计。然而，我根本没有压缩，由于上述原因，我不能真正使用这个库进行进一步的开发。

如何在 Python 中以最小的带宽使用和延迟将大量图像从一台客户端发送到一台服务器？

Answer 1

如果您想将图像作为帧传输，您可以使用一些现有的应用程序，例如 MJPEG-Streamer，它将来自网络摄像头接口的图像编码为 JPG，从而减小图像大小。但是，如果您需要更强大的高级编码传输，您可以使用一些 Linux 工具，例如 FFMPEG 和 here 中记录的流式传输。

如果您想要较低的实现并通过您的代码控制整个流进行修改，您可以使用基于 Web 的框架，如 Flask 并直接传输您的图像抛出 HTTP 协议。你可以在here找到一个很好的例子。

如果您不想流式传输，您可以将整组图像转换为视频编码格式，如h264，然后传输字节抛出网络。您可以使用opencv 来执行此操作。 还有一些用python编写的好的库，比如pyffmpeg。

Answer 2

您可以通过网络使用 ffmpeg 重新流式传输相机，以便客户端可以双向读取它。这将减少延迟。