【发布时间】:2015-12-21 21:18:51
【问题描述】:
我的目标是尽可能高效地存储数百个单独的文件并使用 Java 1.6 进行读取。这些文件平均包含 125,000 个数字。有些文件包含几百个数字,有些超过 7,000,000。大多数情况下,数字范围为 0 到 255,可存储 1 个字节。在某些情况下,0-1024 范围内的数字,2 个字节。
为了保存数据,我使用了 BZip2 implementations of Apache。但是 BZip2 只能存储大小不超过 1 字节的数字。这就是为什么我编写了一个类,它将整数序列划分为位并将 8 位组合为 1 个字节。然后将这些字节写入 CBZip2InputStream (BZip2 OutputStream)。两种算法的结合效果很好。不幸的是,我的算法读取速度很慢。下表显示了读取包含 125,000 个数字的文件所需的时间(以毫秒为单位)。
|压缩包 | BZip2 | UTF-8 |我的算法 |
| 47 | 28 | 35 | 1008 |
| 37 | 12 | 13 |第856章|
| 25 | 11 | 10 |第845章|
| 25 | 12 | 5 |第862章|
我的算法比 BZip2 慢大约 56 倍。
是否有另一种方法可以有效地压缩由 8 位以上组成的数字。尤其是阅读速度应该是最重要的。在与 BZip2 类似的高压缩率下,读取速度应该只有 2 到 4 倍。 如果没有其他办法将我的源代码贴出来并说明,必要时对此进行优化。
【问题讨论】:
-
我不清楚您为什么认为需要使用不同的压缩算法。您的每个数字都被分解成字节,然后可以通过您喜欢的任何压缩算法进行压缩,包括 BZip2。如果许多字节为零,则压缩算法将考虑到这一点并相应地进行压缩。您不可能击败流行的压缩算法。
-
压缩比是多少。像 bzip/gzip 这样的东西可能会提供不错的压缩。
-
使用 Bzip2 数据减少到 40%。 @mksteve
-
我想使用不同的压缩算法,因为我需要很多时间来读取数据。 @Louis Wasserman
-
@MaggiCraft 将整数转换为字节是
DataOutputStream所做 的一部分。我给你的代码会将整数转换为字节,然后将它们传递给 BZip2 流。然后,您可以使用DataInputStream在另一端反转转换。
标签: java algorithm integer compression bzip2