【问题标题】:Compressing numbers greater than 256 (1 byte) with BZip2/GZip [closed]使用 BZip2/GZip 压缩大于 256(1 字节)的数字 [关闭]
【发布时间】:2015-12-21 21:18:51
【问题描述】:

我的目标是尽可能高效地存储数百个单独的文件并使用 Java 1.6 进行读取。这些文件平均包含 125,000 个数字。有些文件包含几百个数字,有些超过 7,000,000。大多数情况下,数字范围为 0 到 255,可存储 1 个字节。在某些情况下,0-1024 范围内的数字,2 个字节。

为了保存数据,我使用了 BZip2 implementations of Apache。但是 BZip2 只能存储大小不超过 1 字节的数字。这就是为什么我编写了一个类,它将整数序列划分为位并将 8 位组合为 1 个字节。然后将这些字节写入 CBZip2InputStream (BZip2 OutputStream)。两种算法的结合效果很好。不幸的是,我的算法读取速度很慢。下表显示了读取包含 125,000 个数字的文件所需的时间(以毫秒为单位)。

|压缩包 | BZip2 | UTF-8 |我的算法 |

| 47 | 28 | 35 | 1008 |

| 37 | 12 | 13 |第856章|

| 25 | 11 | 10 |第845章|

| 25 | 12 | 5 |第862章|

我的算法比 BZip2 慢大约 56 倍。

是否有另一种方法可以有效地压缩由 8 位以上组成的数字。尤其是阅读速度应该是最重要的。在与 BZip2 类似的高压缩率下,读取速度应该只有 2 到 4 倍。 如果没有其他办法将我的源代码贴出来并说明,必要时对此进行优化。

【问题讨论】:

  • 我不清楚您为什么认为需要使用不同的压缩算法。您的每个数字都被分解成字节,然后可以通过您喜欢的任何压缩算法进行压缩,包括 BZip2。如果许多字节为零,则压缩算法将考虑到这一点并相应地进行压缩。您不可能击败流行的压缩算法。
  • 压缩比是多少。像 bzip/gzip 这样的东西可能会提供不错的压缩。
  • 使用 Bzip2 数据减少到 40%。 @mksteve
  • 我想使用不同的压缩算法,因为我需要很多时间来读取数据。 @Louis Wasserman
  • @MaggiCraft 将整数转换为字节是DataOutputStream 所做 的一部分。我给你的代码会将整数转换为字节,然后将它们传递给 BZip2 流。然后,您可以使用 DataInputStream 在另一端反转转换。

标签: java algorithm integer compression bzip2


【解决方案1】:

听起来您的编码方案效率很低。尝试使用为您进行转换的库。参见例如协议缓冲区,但任何其他都可以。

我不希望您使用位操作来确保代码尽可能快。喜欢:

byte[2] out;
int x;
out[0] = x & 0xff;
out[1] = x >> 8;

x = out[0] + (out[1] << 8);

缓慢也可能是因为您经常请求非常少量的数据。在读取之前尝试使用稍大的缓冲区。

【讨论】:

  • 到目前为止我还没有找到任何库,然后将整数转换为位和字节以及所有内容中的位。我将尝试通过操作改进我的算法。我还将试验缓冲区大小。我不明白什么是协议缓冲区。我不知道他们如何帮助我存储数据。 @索林
  • protocol-buffers 是一堆通用数据例程,其中包括序列化和反序列化等。它们针对速度进行了优化。在您的情况下,您可以使用单个重复的 int 字段(即您的数组)定义一个协议缓冲区,并让它到协议缓冲区代码以在流(或字节数组)之间进行转换。编码后的数据会占用更多空间,但我认为它也会压缩。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2013-01-24
  • 2011-10-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多