Node v12.7 如何实现原生brotli、gzip、deflate压缩缓冲区

Question

我是一名前端开发人员，在这里我在后端提升我的能力。

我有一个托管应用程序的 Node express 服务器并且在同一服务器/AWS EC2 实例上提供 REST api。

我使用express-static-gzip npm 包为静态应用程序包和资产启用 brotli 压缩。这太棒了。但是，我不得不为 Three.js 对象切换到 SSR，因为手机无法处理海量数据集解析。不幸的是，它没有对我的 REST 数据应用压缩。

目前，在此期间，我禁用了 express-static-gzip 并启用了 compression npm 包。这仅启用 gzip，但同时适用于静态包和 REST API。

我特别需要在我的静态包和我的 REST API 上使用 GZIP/Deflate 后备压缩的 Brotli。未压缩的最大 GET 请求可以是 138MB。 GZIP 将其缩小到 12.8MB。我希望它使用 Brotli 时小于 10MB。

我的意图是让 express-static-gzip 在我的包上运行压缩，并在我的 REST API 上手动进行节点 zlib 压缩。如果这不可行，那么对所有内容进行手动节点 zlib 压缩！

我不明白一些关于缓冲区和后端类型的事情......也许你可以在这里告诉我我做错了什么：

app.get('/quakeData/:index', function(req, res){
    // Send Specific Selection or All
    const encoding = req.headers['accept-encoding'], 
          index    = req.params.index,
          jsonArr  = index != "all" ? [ quakes[index], threeData[index] ] : [ quakes, threeData ],
          jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr);

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        })

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        res.json(jsonArr);
    }

另外，我意识到压缩模块会删除 Content Length 标头，因为我的 XHR Progress API 代码停止工作。无论实施什么解决方案，我都需要有 Content Length 标头。我该怎么做？另外，有没有办法设置 GET 以提前接收内容长度以估计下载时间？

谢谢！

Answer 1

我已经让这个工作了。尽管现在我遇到了如何使用不同压缩选项动态选择时间范围的问题。我将不得不修改它，因为压缩数据需要很长时间。

很明显，布罗特利要优秀得多。我想当我每月重构和测试时，数据节省会令人印象深刻。下面是我有上面工作的代码。当然，它正在压缩每个 API 请求，这在生产中没有意义，但有利于测试。

（更新） 我将代码重构为更最终的实现，包括写入 txt 文件等。但是没有提供代码，这是 Brotli 与 GZIP 的最终压缩字节长度比较。 GZIP 提供更快的压缩，尽管尺寸更大。

布罗特利：[5433、137501、952538、6438971]

GZIP：[6818、194843、1544908、10451525]

上面的字节长度数组分别用于每小时、每天、每周和每月的数据集。压缩前的每月数据集约为 138MB。

此外，仅供参考，XHR 进度 API 已被破坏，因此即使您发送字节大小的内容标头，它也无法正常工作。我必须创建一个单独的 API 来在数据 AJAX 之前发送字节长度。

const jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr, 'utf-8');

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'br',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'gzip',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'deflate',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        return res.json(compressed);
    }