连续数的压缩算法

Question

我正在寻找一种有效的编码来存储模拟系数。

数据有数千条曲线，每条曲线有 512 个连续的单精度数字。数据可以存储为定点，同时它应该保留大约 23 位精度（与统一级别相比）。

曲线可能看起来像那些：

我最好的方法是将数字转换为 24 位定点数。只要平方和减少，我就反复取相邻的差异。当使用 LZMA (xz,lzip) 压缩结果数据时，我得到大约 7.5 倍的压缩率（与 float32 相比）。

相邻差异在开始时很好，但它们强调了每一轮的量化噪声。

在边界处减去斜率/曲线后，我还尝试了余弦变换。产生的压缩要弱得多。

我试过 AEC 但 LZMA 压缩得更强。最高压缩是使用 bzip3（在相邻差异之后）。

我发现没有函数可以高精度和有限的参数数来拟合数据。

有没有办法在使用相邻差异时减少量化噪声的惩罚？

是否有更适合此类数据的编码？

Answer 1

您可以尝试更高阶的预测器。您的“相邻差异”是零阶预测变量，其中预测下一个样本等于最后一个样本。您获取实际值和预测值之间的差异，然后压缩这些差异。

您可以尝试第一、第二等顺序预测器。一阶预测器会查看最后一个二样本，在它们之间画一条线，并预测下一个样本将落在这条线上。二阶预测器会查看最后一个三样本，将它们拟合到抛物线，并预测下一个样本将落在抛物线上。等等。

假设您的样本在 x 轴上等距分布，那么 x[0] 的三次方预测变量为：

0. x[-1]（你现在用的是什么）
1. 2*x[-1] - x[-2]
2. 3*x[-1] - 3*x[-2] + x[-3]
3. 4*x[-1] - 6*x[-2] + 4*x[-3] - x[-4]

（请注意，系数是交替符号二项式系数。）

我怀疑三次多项式预测器是否对您有用，但请尝试所有这些预测器以查看是否有帮助。