C - 如何确定 JSON 消息的字节数

Question

我正在开发一个基于 Linux 的项目，该项目由一个用 C 编写的“核心”应用程序和一个可能用 Python 编写的 Web 服务器组成。核心和 Web 服务器必须能够通过 TCP/IP 相互通信。我的重点是 C 语言的核心应用程序。

由于核心和 Web 服务器使用不同的编程语言，我正在寻找一种在两种语言中都易于使用的消息协议。目前我认为 JSON 是一个不错的选择。然而，我的问题不是关于消息协议，而是关于我如何确定从套接字读取（并可能发送到）的字节数，特别是在使用 JSON 或 XML 等消息协议时。

据我了解，无论您使用 JSON、XML 还是其他一些消息协议，都不能在消息本身中包含消息的大小，因为为了解析消息，您需要整个消息，因此需要提前知道它的大小。请注意，“消息”是指根据使用的消息协议格式化的数据。

我一直在思考和阅读解决这个问题的方法，得出了以下两种可能性：

1. 确定消息的最大可能大小，例如 500 字节，并在此基础上确定缓冲区大小，例如 512 字节，并为每条消息添加填充，以便发送 512 字节；
2. 在“纯文本”中添加每条消息的大小。如果大小存储在 Int（4 个字节）中，则接收方首先从套接字读取 4 个字节，并使用这 4 个字节确定接下来要读取多少字节以获取实际消息；

因为我阅读过的所有提供的解决方案都不是专门针对某些消息协议（如 JSON）的使用，所以我认为我可能遗漏了一些东西。

那么，我提供的两种可能性中哪一种是最好的，或者，我不知道这个问题的其他解决方案吗？

亲切的问候。

Answer 1

这是流（包括 TCP 流）遇到的经典问题，通常称为“消息边界问题”。你可以搜索比我在这里给出的更详细的答案。

要确定边界，您有一些选择：

• 如您所说，使用填充固定长度。除非您有非常小的消息，否则不建议使用。
• 前面加上你说的大小。如果您想在不浪费太多字节的情况下获得花哨并支持大型消息，则可以使用可变长度数量，在这里您可以使用位来确定是否读取更多字节的大小。 @alnitak 提到了我忽略的 cmets 的一个缺点，那就是在知道大小之前无法开始发送。
• 绑定了一些你在其他地方不使用的字节（JSON 和 XML 是纯文本的，所以 '\0' 与 ASCII 或任何 UTF 一起使用）。接收端简单但速度较慢，因为您必须以这种方式扫描每个字节。
• 编辑：JSON、XML 和许多其他格式也可以即时解析以确定边界（例如，每个 { 必须在 JSON 中用 } 关闭），但我没有看到任何优势这样做。

如果这不仅仅是一种学习体验，您可以改为使用现有协议为您完成这一切。例如 HTTP（低效）或 gRPC（更高效）。

编辑：我最初说过必须包含校验和来处理数据包丢失，尽管 TCP 是完全错误的...... TCP 在正确接收到这些数据包之前不会前进，所以这不是问题。 IDK 我在想什么。