使用 localStorage 进行 javascript 字符串压缩

Question

我在一个项目中使用localStorage，它需要存储很多 数据，主要是int、bool 和string 类型。我知道 javascript 字符串是 unicode，但是当存储在 localStorage 中时，它们会保持 unicode 吗？如果是这样，有没有办法可以压缩字符串以使用 unicode 字节中的所有数据，或者我应该只使用 base64 并减少压缩？所有数据都将存储为一个大字符串。

编辑：现在我想起来了，base64 根本不会做太多压缩，数据已经在 base 64 中，a-zA-Z0-9 ;: 是 65 个字符。

Answer 1

您可以编码为 Base64，然后实现简单的无损压缩算法，例如游程编码或 Golomb 编码。这不应该太难做，可能会给你一点压力。

Golomb encoding

我还找到了 JsZip。我猜你可以检查代码，只使用算法，如果它是兼容的。

希望这会有所帮助。

http://jszip.stuartk.co.uk/

Answer 2

“当存储在 localStorage 中时，它们是否保持 unicode？”

Web Storage working draft 将本地存储值定义为 DOMString。 DOMStrings are defined 使用 UTF-16 encoding 作为 16 位单元的序列。所以是的，它们仍然是 Unicode。

有没有办法可以压缩字符串以使用 unicode 字节中的所有数据...？

“Base32k”编码应该为每个字符提供 15 位。 base32k 类型编码利用了 UTF-16 字符中的完整 16 位，但会丢失一点以避免在双字字符上出错。如果您的原始数据采用 base64 编码，则每个字符仅使用 6 位。将这 6 位编码为 base32k 应将其压缩为原始大小的 6/15 = 40%。请参阅http://lists.xml.org/archives/xml-dev/200307/msg00505.html 和http://lists.xml.org/archives/xml-dev/200307/msg00507.html。

为了进一步减小大小，您可以将 base64 字符串解码为完整的 8 位二进制文​​件，使用一些已知的压缩算法（例如，参见 javascript implementation of gzip）对其进行压缩，然后对压缩后的输出进行 base32k 编码。

Answer 3

This Stackoverflow Question 有一个可能有帮助的答案。有一个 JavaScript 压缩库的链接。

Answer 4

我最近不得不在 localStorage 中保存巨大的 JSON 对象。

首先，是的，它们确实保持 unicode。但是不要尝试将对象之类的东西直接保存到本地存储中。它必须是一个字符串。

在将对象转换为字符串之前，我使用了一些压缩技术（在我的情况下似乎效果很好）：

通过执行 (+num).toString(36) 之类的操作，可以将任何以 10 为底的数字转换为以 36 为底的数字。例如，数字 48346942 将是“ss8qm”，即（包括引号）少 1 个字符。添加引号可能实际上会增加字符数。所以数字越大，回报就越好。要将其转换回来，您可以执行类似 parseInt("ss8qm", 36) 的操作。

如果您使用任何会重复的键存储对象，最好创建一个查找对象，在其中为原始键分配一个缩短的键。因此，举例来说，如果您有：

{
    name: 'Frank',
    age: 36,
    family: [{
        name: 'Luke',
        age: 14,
        relation: 'cousin'
    }, {
        name: 'Sarah',
        age: 22,
        relation: 'sister'
    }, {
        name: 'Trish',
        age: 31,
        relation: 'wife'
    }]
}

那么你就可以做到：

{
    // original w/ shortened keys
    o: {    
        n: 'Frank',
        a: 36,
        f: [{
            n: 'Luke',
            a: 14,
            r: 'cousin'
        }, {
            n: 'Sarah',
            a: 22,
            r: 'sister'
        }, {
            n: 'Trish',
            a: 31,
            r: 'wife'
        }]
    },

    // lookup
    l: {
        n: 'name',
        a: 'age',
        r: 'relation',
        f: 'family'
    }
}

同样，这与大小有关。和重复。就我而言，它工作得非常好。但这取决于主题。

所有这些都需要一个函数来收缩和一个扩展回来。

另外，我建议创建一个用于从本地存储中存储和检索数据的类。我跑到那里没有足够的空间。所以写入会失败。其他站点也可能会写入本地存储，这可能会占用一些空间。详情请见this post。

在我构建的类中，我首先尝试使用给定键删除任何项目。然后尝试 setItem。这两行都用 try catch 包裹起来。如果失败，则假定存储已满。然后它将清除 localStorage 中的所有内容，以尝试为其腾出空间。然后，在清除之后，它将再次尝试 setItem。这也包含在 try catch 中。因为如果字符串本身比 localStorage 可以处理的大，它可能会失败。

编辑：另外，你会遇到很多人提到的 LZW 压缩。我已经实现了，它适用于小字符串。但是对于大字符串，它将开始使用导致数据损坏的无效字符。所以要小心，如果你往那个方向去测试测试测试

Answer 5

JavaScript 的 Base64 压缩得到了很好的解释 at this blog。使用整个framework时，实现也是available here。