用于在 C 中传输的整数数据压缩，无需外部库

Question

我在这里搜索了一堆没有合适的解决方案。标题可能有点奇怪或不完全准确，但让我解释一下： 我的 IoT 设备每秒收集一堆数据，我可以将其表示为整数列表。这是一行传感器读取的示例（零并不总是 0 btw）：

230982 0 4294753011 -9 4294198951 -1 4294225518 0 0 0 524789 0 934585 0 4 0 0 0 0

在触发时，我想将整个表（直到那时的所有行）发送到我的计算机。我可以将其字符串化并连接所有内容，但想知道是否有更有效的编码/压缩来减少字节数，无论是在存储在 RAM/闪存中还是为了减少传输量。理想情况下，这可以通过集成功能来实现，即没有外部压缩库。我对编码/压缩不是很擅长，希望你能给我一个提示。

Answer 1

Zlib/Zstd 库更适合进行通用压缩。如果我假设您不想使用任何第三方库，这里是一些简单压缩方法的手动编码版本，它可以节省输入字符串的一半字节。

基本思想很简单。您的字符串最多有 16 个不同的字符，可以映射到 4 位而不是典型的 8 位。请参阅下面的假设。您也可以尝试base16、base64、base128 编码，但这是最简单的。 假设：

1. 首先将所有数字转换为十进制格式的字符串。
2. 字符串不会包含除0,1,2,3,4,5,6,7,8,9,+,-,.、space 和comma 之外的任何其他字符。

================================================ ==============================

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

static inline char map(char c)
{
        switch(c) {
        case ' ' : return ('/' - '*');
        case '\0': return 0;
        default  : return c - '*';
        }
        return 0;
}

static inline char revmap(char c)
{
        switch(c) {
        case '\0'     : return 0;
        case '/' - '*': return ' ';
        default       : return c + '*';
        }
        return 0;
}

char *compress(const char *s, int len)
{
        int i, j;
        char *compr = malloc((len+1)/2 + 1);

        j = 0;
        for (i = 1; i < len; i += 2)
                compr[j++] = map(s[i-1]) << 4 | map(s[i]);

        if (i-1 < len)
                compr[j++] = map(s[i-1]) << 4;

        compr[j] = '\0';
        return compr;
}

char *decompress(const char *s, int len)
{
        int i, j;
        char *decompr = malloc(2*len + 1);

        for (i = j = 0; i < len; i++) {
                decompr[j++] = revmap((s[i] & 0xf0) >> 4);
                decompr[j++] = revmap(s[i] & 0xf);
        }
        decompr[j] = '\0';
        return decompr;
}

int main()
{
        const char *input = "230982 0 4294753011 -9 4294198951 -1 4294225518 0 0 0 524789 0 934585 0 4 0 0 0 0 ";
        int plen = strlen(input);
        printf("plain(len=%d): %s\n", plen, input);

        char *compr = compress(input, plen);
        int clen = strlen(compr);

        char *decompr = decompress(compr, clen);
        int dlen = strlen(decompr);
        printf("decompressed(len=%d): %s\n", dlen, decompr);

        free(compr);
        free(decompr);
}

Answer 2

最简单的解决方案是以二进制形式简单地转储数据。根据您的数据，它可能比字符串形式更小或更大，但您不必在设备上进行任何数据处理。

如果您的大部分数据都很小，您可以使用可变长度数据编码进行序列化。有几个，但 CBOR 相当简单。

如果您的数据变化很小，您可以只发送第一行作为绝对值，其余行作为前一行的增量。这将导致许多小数字，这通常在前面提到的编码系统中更有效。

我不会尝试在没有任何经验和外部库的情况下实现任何通用压缩算法，除非您绝对需要它。找到合适的算法来充分压缩您的数据并合理使用资源可能会很耗时。