将 curl 结果中的字节组解释为其他数据类型的方法

Question

我正在尝试编写一个程序，该程序将使用 curl 查询 URL 并检索一串字节。返回的数据比需要解释为各种数据类型；一个 int 后跟一个序列结构。

curl 回写函数必须有一个原型：

size_t write_callback(char *ptr, size_t size, size_t nmemb, void *userdata);

我见过各种示例，其中返回的数据作为字符直接存储在内存中或作为字符串对象存储在缓冲区中。

如果我有一个字符数组，那么我知道我可以用这样的代码将它的一部分解释为一个结构：

struct mystruct {
    //define struct
};

char *buffer;
//push some data into the buffer
char *read_position;
read_position = buffer + 5;
test = (mystruct *)buffer;

我有两个相关的问题。首先，有没有更好的方法使用 curl 检索二进制数据并将其推送到结构中，而不是直接将其作为字符读入内存。其次，如果将内存作为字符缓冲区读取是可行的方法，那么我的代码是否可以将内存块解释为不同的数据类型？

Answer 1

解释原始结构时需要考虑的事项，尤其是通过网络：

• 数据类型的大小；
• 数据类型的字节顺序；
• 结构填充。

无论使用什么编译器，您都应该只在结构中使用大小正确的数据类型。这意味着对于整数，您应该使用types from <cstdint>。

至于字节序，您需要知道数据是以大字节序还是小字节序到达。我喜欢明确一点：

template< class T >
const char * ReadLittleEndian32( const char *buf, T & val )
{
    static_assert( sizeof(T) == 4 );
    val = T(buf[0]) | T(buf[1]) << 8 | T(buf[2]) << 16 | T(buf[3]) << 24;
    return buf + sizeof(T);
}

template< class T >
const char * ReadBigEndian32( const char *buf, T & val )
{
    static_assert( sizeof(T) == 4 );
    val = T(buf[0]) << 24 | T(buf[1]) << 16 | T(buf[2]) << 8 | T(buf[3]);
    return buf + sizeof(T);
}

//etc...

最后，处理潜在的填充差异......我已经很自然地倾向于“反序列化”方法，其中每个值都被显式读取和翻译。结构没有什么不同：

struct Foo
{
    uint16_t a;
    int16_t  b;
    int32_t  c;

    const char * Read( const char * buf );
};

const char * Foo::Read( const char * buf )
{
    buf = ReadLittleEndian16( buf, a );
    buf = ReadLittleEndian16( buf, b );
    buf = ReadLittleEndian32( buf, c );
    return buf;
}

请注意模板处理数据类型中的符号和其他内容，因此我们最终关心的只是大小。另请记住，float 和 double 等数据类型已经具有固有的字节顺序，不应进行翻译——它们可以逐字阅读：

const char * ReadDouble( const char * buf, double & val )
{
    val = *(double*)buf;
    return buf + sizeof(double);
}