在 Node.js 中分块接收数据 - 传输何时完成？

Question

我有两个正在相互通信的进程 - 客户端是 C# 控制台应用程序。服务器是一个 Node.js 应用程序，它使用了“网络”模块 (TCP)。

我需要完成的过程是：

1. C# 客户端连接到 Node.js 服务器并发送 HTML。
2. Node.js 接收 HTML 数据，并生成 PDF（使用 Puppeteer）。
3. Node.js 服务器将 PDF 作为字节数组发送到 C# 客户端。

这工作顺利直到步骤 1 中的有效负载达到一定大小。那时，数据开始被分成多个块。块的组合大小等于最初发送的有效负载，因此它们都到达了服务器。

这会导致问题，因为生成 PDF 的代码位于 socket.on(data) 事件中。由于数据被多次接收，服务器正在创建多个 PDF，并且没有一个是完整的。

我读过的一些帖子建议使用 socket.on(end) 事件，但该事件没有触发，因为连接没有关闭 - 我需要保持连接打开，以便执行第 3 步。

我的第一个想法是“我需要增加缓冲区大小以便发送整个文件”，但经过一些研究后，我决定不这样做，因为拆分数据似乎是预期的行为。

我的问题是：我如何知道整个有效负载何时到达 Node.js 服务器？

• 我可以利用 Node.js 中的套接字事件或其他事件吗？
• 我可以检查发送的data 对象的属性吗？
• 有没有办法让客户端“发出”它已完成发送数据的“信号”？

这似乎是一个常见的场景，所以我正在寻找一些最佳实践，因为我对 Node.js 比较陌生。

更新

这是导致创建多个 PDF 的（缩写）代码，因为数据被多次接收：

const net = require('net');
const PORT = 8080;
const ADDRESS = '127.0.0.1';

const server = net.createServer(onConnectionOpen);
server.listen(PORT, ADDRESS);

function onConnectionOpen(socket) {
    socket.on('data', (data) => {
        const folderName = 'reports';
        var fileName = functions.getRandomString(50) + '.pdf';
        var fullPath = process.cwd() + '\\' + folderName + '\\' + fileName;

    const puppeteer = require('puppeteer');

    (async () => {
        const browser = await puppeteer.launch({ headless: true });

        const page = await browser.newPage();

        await page.setContent(data.toString());
        const pdf = await page.pdf({ path: fullPath, format: 'Letter' });

        console.log('Total bytes returned: ' + pdf.length);
        socket.write(pdf);

        await browser.close();
    })();
})

socket.on('end', () => {
    socket.destroy();
})  

}

我已尝试将 Puppeteer 和 socket.write(...) 移动到 socket.on('end')，但该代码在生成 PDF 后无法运行，因为连接仍处于打开状态。

Answer 1

将 socket.on(data) 处理程序中接收到的任何单个块的数据追加到匹配条件 data.toString().toLowerCase().endsWith("");

如果有效负载是 html，它应该可以工作。您只需在有效负载末尾有一个分隔符并使用它。

Answer 2

如果发送方在完成发送后不打算关闭套接字，那么您必须通过读取数据中的内容来判断它何时完成发送。有很多方法可以做到这一点。例如，您可以将其编码为 MIME 部分，该部分在其开头和结尾处具有独特的标记，您可以在阅读时查看这些标记。

既然您说内容是您控制另一端发送的 HTML，您可以在 HTML 的末尾使用结尾 </html> 作为分隔符。要以简单的方式执行此操作，您必须确保主文档中没有任何嵌入的 HTML 文档（例如具有本地内容的 iframe）。如果您可以做出这些假设，那么您可以使用对 </html> 的检测作为分隔符来告诉您何时完成接收 HTML。

通过这些简化的假设，您可以像这样检测：

const net = require('net');
const PORT = 8080;
const ADDRESS = '127.0.0.1';
const puppeteer = require('puppeteer');

const server = net.createServer(onConnectionOpen);
server.listen(PORT, ADDRESS);

function onConnectionOpen(socket) {
    let receivedData = "";
    socket.on('data', (data) => {
        receivedData += data.toString();
        // if we have the ending tag of our HTML, then process it
        let html = receivedData;
        if (html.indexOf("</html>") !== -1) {
            // reset receivedData so if any more data arrives (after the </html>)
            // it won't affect the html string we now have locally
            receivedData = "";
            const folderName = 'reports';
            const fileName = functions.getRandomString(50) + '.pdf';
            const fullPath = process.cwd() + '\\' + folderName + '\\' + fileName;

            (async () => {
                const browser = await puppeteer.launch({ headless: true });

                const page = await browser.newPage();

                await page.setContent(html);
                const pdf = await page.pdf({ path: fullPath, format: 'Letter' });

                console.log('Total bytes returned: ' + pdf.length);
                socket.write(pdf);

                await browser.close();
            })().catch(err => {
                // handle error here
            });
        }
    });

    socket.on('end', () => {
        socket.destroy();
    });  
}

如果可以嵌入 HTML 文档，则需要更多代码才能知道何时获得外部 </html>。而且，如果您不能确定 </html> 是否为小写，您也必须进行不区分大小写的搜索。

如果您甚至不能保证在 HTML 内容的末尾会有 </html>，那么您需要以某种方式确保末尾有一些已知的分隔符，或者您必须先发送内容的长度所以你知道什么时候你得到了所有的数据。没有其他方法可以知道内容的结尾在哪里。