Node JS HTTP 代理挂了

Question

我有一个 http 代理来代理任何网站并在将 HTML 提供回客户端之前注入一些自定义 JS 文件。每当我尝试访问代理网站时，它都会挂起或浏览器似乎无法确定加载。但是当我检查 HTML 源代码时，我成功地注入了我的自定义 JavaScript 文件。代码如下：

const cheerio = require('cheerio');
const http = require('http');
const httpProxy = require('http-proxy');
const { ungzip } = require('node-gzip');

_initProxy(host: string) {
    let proxy = httpProxy.createProxyServer({});
    let option = {
        target: host,
        selfHandleResponse: true
    };

    proxy.on('proxyRes', function (proxyRes, req, res) {
        let body = [];
        proxyRes.on('data', function (chunk) {
            body.push(chunk);
        });
        proxyRes.on('end', async function () {
            let buffer = Buffer.concat(body);
            if (proxyRes.headers['content-encoding'] === 'gzip') {
                try {
                    let $ = null;
                    const decompressed = await ungzip(buffer);
                    const scriptTag = '<script src="my-customjs.js"></script>';
                    $ = await cheerio.load(decompressed.toString());
                    await $('body').append(scriptTag);
                    res.end($.html());
                } catch (e) {
                    console.log(e);
                }
            }
        });
    });

    let server = http.createServer(function (req, res) {
        proxy.web(req, res, option, function (e) {
            console.log(e);
        });
    });

    console.log("listening on port 5051");
    server.listen(5051);
}

如果我做错了什么，有人可以告诉我，看起来 node-http-proxy 正在死去很多并且不能太依赖它，因为代理有时可以工作并在下次运行时死掉，具体取决于我运行了多少次服务器。

Answer 1

您的代码看起来不错，所以我很好奇并尝试了它。

虽然您确实记录了一些错误，但您并没有处理几种情况：

• 服务器返回一个没有响应的正文（cheerio 会在这种情况下生成一个空的 HTML 正文）
• 服务器返回未压缩的响应（您的代码将默默地丢弃响应）

我对你的代码做了一些修改。

更改初始选项

let proxy = httpProxy.createProxyServer({
    secure: false,
    changeOrigin: true
});

• 不验证 TLS 证书 secure: false
• 发送正确的Host标头changeOrigin: true

删除if 语句并用三元替换它

const isCompressed = proxyRes.headers['content-encoding'] === 'gzip';
const decompressed = isCompressed ? await ungzip(buffer) : buffer;

您还可以删除 cheerio 上的 2 个 await，Cheerio 不是异步的，不会返回 awaitable。

最终代码

这是最终的代码，它可以工作。您提到“看起来 node-http-proxy 正在死去很多 [...] 取决于我运行服务器的次数。”我没有遇到过这样的稳定​​性问题，所以如果发生这种情况，您的问题可能出在其他地方（坏内存？）

const cheerio = require('cheerio');
const http = require('http');
const httpProxy = require('http-proxy');
const { ungzip } = require('node-gzip');

const host = 'https://github.com';

let proxy = httpProxy.createProxyServer({
    secure: false,
    changeOrigin: true
});
let option = {
    target: host,
    selfHandleResponse: true
};

proxy.on('proxyRes', function (proxyRes, req, res) {

    console.log(`Proxy response with status code: ${proxyRes.statusCode} to url ${req.url}`);
    if (proxyRes.statusCode == 301) {
        throw new Error('You should probably do something here, I think there may be an httpProxy option to handle redirects');
    }
    let body = [];
    proxyRes.on('data', function (chunk) {
        body.push(chunk);
    });
    proxyRes.on('end', async function () {
        let buffer = Buffer.concat(body);
        try {
            let $ = null;
            const isCompressed = proxyRes.headers['content-encoding'] === 'gzip';
            const decompressed = isCompressed ? await ungzip(buffer) : buffer;
            const scriptTag = '<script src="my-customjs.js"></script>';
            $ = cheerio.load(decompressed.toString());
            $('body').append(scriptTag);
            res.end($.html());
        } catch (e) {
            console.log(e);
        }
    });
});

let server = http.createServer(function (req, res) {
    proxy.web(req, res, option, function (e) {
        console.log(e);
    });
});

console.log("listening on port 5051");
server.listen(5051);

Answer 2

我最终使用 CherryPy 编写了一个小型 Python 服务器，并使用 mitmproxy 代理了 Web 应用程序。现在一切都很顺利。也许我在使用 node-http-proxy 时做错了，但我也对在生产环境中使用它持怀疑态度。