将“大”数据文件传输到服务器的简单 TCP 协议

Question

给反对者的信息：请阅读这个问题，我正在开发一个小型嵌入式设备。如果您不熟悉此类设备的局限性，请转到另一个问题而不是投反对票！！！！

我正在使用内存有限的小型嵌入式设备，我需要从该设备向服务器发送一个大文件。因此，我不能轻松使用 HTTP POST，这需要我在发送之前将整个文件加载到内存中。

嵌入式设备具有 UDP 和 TCP 套接字，但例如发送 HTTP POST，我需要创建一个包含 HTTP HEADERS 和数据的字符串。由于设备没有 HTTP 协议或其他可用作 API 的协议。

有人可以推荐一种协议，我可以使用它来执行“流式传输”或将数据部分发送到服务器的过程吗？

该协议需要相对简单并且不占用太多内存资源，如果您知道为小型嵌入式设备设计的库，那也很好。该协议还应该易于在接收服务器上实现，最好运行 .Net

Answer 1

我正在使用内存有限的小型嵌入式设备，我需要从该设备向服务器发送一个大文件。因此我不能轻易使用 HTTP POST，这需要我在发送之前将整个文件加载到内存中。

不，POST 不需要。它所要求的只是您发送的 HTTP Content-Length 标头与您为实际文件数据发送的字节数相匹配。或者您可以使用 HTTP 1.1 的 chunked 传输编码，它不使用 Content-Length 标头（因此您无需提前知道文件大小）。 POST（或 HTTP，就此而言）没有您在代码中发送字节的 HOW 概念。所以所要做的就是在循环中读取文件数据，使用适当大小的内存缓冲区，在每次读取后通过套接字发送该缓冲区的内容，直到您点击 EOF。

例如（伪代码）：

sckt = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP)
connect(sckt, "hostname", 80)
send(sckt, "POST /resource HTTP/1.0\r\n")
send(sckt, "Content-Type: application/octet-stream\r\n"); // or the actual file type
send(sckt, "Content-Length: " + string(the file size) + "\r\n")
send(sckt, "\r\n")

byte buffer[256] // use whatever buffer size is appropriate for your device
do
{
    numread = read(file, buffer, sizeof(buffer));
    if (numread <= 0) break;
    send(sckt, buffer, numread);
}
while (true);

read HTTP response from sckt ...

或者：

sckt = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP)
connect(sckt, "hostname", 80)
send(sckt, "POST /resource HTTP/1.1\r\n")
send(sckt, "Content-Type: application/octet-stream\r\n"); // or the actual file type
send(sckt, "Transfer-Encoding: chunked\r\n")
send(sckt, "\r\n")

byte buffer[256] // use whatever buffer size is appropriate for your device
char hex[12]
do
{
    numread = read(file, buffer, sizeof(buffer));
    if (numread <= 0) break;

    sprintf(hex, "%x", numread);
    send(sckt, string(hex) + "\r\n")
    send(sckt, buffer, numread)
    send(sckt, "\r\n")
}
while (true);

send(sckt, "0\r\n");
send(sckt, "\r\n");

read HTTP response from sckt ...

即使是功能强大的台式电脑也必须这样做，因为通常无法将整个文件一次放入内核缓冲区，因此必须相应地循环发送。

嵌入式设备有 UDP 和 TCP 套接字，但是例如发送 HTTP POST，我需要创建一个包含 HTTP HEADERS 和数据的字符串。

您不要必须在一个字符串中一次发送所有内容。您可以根据需要将其分解为多个字符串/发送。 TCP 是一种流传输，它不关心您执行了多少次发送，只要您发送的字节顺序正确。您可以一次发送 1 个字节（尽管这不是很有效，但它会起作用）。

由于设备没有 HTTP 协议或其他可用作 API 的协议。

不需要。由于 HTTP 位于 TCP 之上，并且您可以访问 TCP 套接字 API，因此您可以手动实现 HTTP。

有人可以推荐一种协议，我可以使用它来执行“流式传输”或将数据部分发送到服务器的过程吗？

HTTP 已经做到了这一点。

该协议需要相对简单并且不占用太多内存资源，如果您知道为小型嵌入式设备设计的库，那也很好。该协议还应该易于在接收服务器上实现，最好运行 .Net

HTTP 非常适合。