Apache Thrift - 矩阵（浮点数组）数据结构的压缩？

Question

我正在尝试使用 Apache Thrift 将大量数字（矩阵数组）数据从 Linux 服务器发送到 Windows 客户端 (C#)。基本数据结构是一个二维浮点数组，它很可能是稀疏的。总的来说，数据集很大——比如千兆字节。

Thrift（使用 TBinaryProtocol 或 TCompactProtocol）是否在发送数据之前对其进行压缩？因为我正在尝试实时可视化数据的“切片”，所以速度很重要。我想知道在发送之前是否有压缩这些数据的方法？

谢谢！

Answer 1

有一个TZlibTransport，遗憾的是它只适用于少数语言绑定，例如 C++。二进制和紧凑协议不压缩数据。

因此，您要么尝试为 C# 编写（贡献？）这样的传输，要么只是在前后压缩数据。

对于大型二进制数据，建议使用binary 而不是list<byte>，如果您还没有这样做的话。然而，如果矩阵是稀疏的，最好只通过线路发送非空单元格。这取决于你的情况。