如何处理二进制文件格式的可移植性问题

Question

我正在设计一种二进制文件格式来存储字符串[不终止 null 以节省空间]和二进制数据。

我。处理小/大端系统的最佳方法是什么？ i.a 将所有内容转换为网络字节顺序并使用 ntohl()/htonl() 工作吗？

二。打包结构在 x86、x64 和 arm 上的大小是否相同？

三。这种方法有什么固有的弱点吗？

struct __attribute__((packed)) Header {
    uint8_t magic;
    uint8_t flags;
};

struct __attribute__((packed)) Record {
    uint64_t length;
    uint32_t crc;
    uint16_t year;
    uint8_t day;
    uint8_t month;
    uint8_t hour;
    uint8_t minute;
    uint8_t second;
    uint8_t type;
};

我使用的测试代码开发格式：

#include <stdlib.h>
#include <unistd.h>
#include <stdio.h>
#include <limits.h>
#include <strings.h>
#include <stdint.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <string.h>

struct __attribute__((packed)) Header {
    uint8_t magic;
    uint8_t flags;
};

struct __attribute__((packed)) Record {
    uint64_t length;
    uint32_t crc;
    uint16_t year;
    uint8_t day;
    uint8_t month;
    uint8_t hour;
    uint8_t minute;
    uint8_t second;
    uint8_t type;
};

    int main(void)
    {

        int fd = open("test.dat", O_RDWR|O_APPEND|O_CREAT, 444);
        struct Header header = {1, 0};
        write(fd, &header, sizeof(header));
        char msg[] = {"BINARY"};
        struct Record record = {strlen(msg), 0, 0, 0, 0, 0, 0, 0};
        write(fd, &record, sizeof(record));
        write(fd, msg, record.length);
        close(fd);
        fd = open("test.dat", O_RDWR|O_APPEND|O_CREAT, 444);


        read(fd, &header, sizeof(struct Header));
        read(fd, &record, sizeof(struct Record));
        int len = record.length;
        char c;
        while (len != 0) {
            read(fd, &c, 1);
            len--;
            printf("%c", c);
        }
        close(fd);
    }

Answer 1

我。在我看来，在读/写时（可能使用 ntohl 等）将文件定义为一个顺序并在必要时转换为“内部”顺序并从“内部”顺序转换是最好的方法。

二。我不相信打包的结构。他们可能适用于这些平台的这种方法，但不能保证。

三。在整个结构上使用 fread 和 fwrite 读取和写入二进制文件（我再次认为）是一种固有的弱方法。您将被字长问题、填充和对齐问题以及字节顺序问题困扰的可能性最大化。

我喜欢编写像 get16() 和 put32() 这样的小函数，它们一次读取和写入一个字节，因此本质上对字长和字节顺序困难不敏感。然后我根据这些编写简单的 putHeader 和 getRecord 函数（等等）。

unsigned int get16(FILE *fp)
{
    unsigned int r;
    r = getc(fp);
    r = (r << 8) | getc(fp);
    return r;
}

void put32(unsigned long int x, FILE *fp)
{
    putc((int)((x >> 24) & 0xff), fp);
    putc((int)((x >> 16) & 0xff), fp);
    putc((int)((x >> 8) & 0xff), fp);
    putc((int)(x & 0xff), fp);
}

[附注正如@Olaf 在其中一个 cmets 中正确指出的那样，在生产代码中，您需要处理这些函数中的 EOF 和错误。为简单起见，我将其省略了。]