是否可以使用 Node 工作线程来执行数据库插入？

Question

我最近读到了 Node 的“worker_threads”模块，它允许在多个线程中并行执行 Javascript 代码，这对于 CPU 密集型操作很有用。 （注意：这些不是 Chrome 在浏览器中制作的网络工作者）

我正在构建一个功能，我需要在不阻塞浏览器的情况下执行大量 Postgres INSERT。

问题是： 在我实例化 worker 的 Javascript 文件中，我不允许导入任何内容，包括本地 Node 模块或 NPM 库（如 Knex.js），这是执行数据库所必需的查询。我收到一条错误消息：Cannot use import statement outside a module 只要文件被执行。

我尝试将工作代码放在另一个文件中，并在顶部使用 import 语句（同样的错误）。我尝试将 Knex 对象提供给 workerData，但它无法克隆非原生 JS 对象。

我没有想法 - 如果我们无法导入任何 NPM 库，有谁知道如何在工作线程中与数据库交互？！？！

// mainThread.js

const { Worker, isMainThread, parentPort, workerData } = require('worker_threads');

import knex from 'knex'; // --> *** UNCAUGHT EXCEPTION: Cannot use import statement outside a module ***

if (isMainThread) {
  module.exports = async function runWorker (rowsToInsert = []) {
    return new Promise((resolve, reject) => {
      const worker = new Worker(__filename, { workerData: { rowsToInsert } });

      worker.on('message', (returningRows) => resolve(returningRows));
      worker.on('error', reject);
      worker.on('exit', (code) => {
        if (code !== 0) reject(new Error(`Worker stopped with exit code ${code}`));
      });
    });
  };
} else {
  const { rowsToInsert } = workerData;

  return knex('table').insert(rowsToInsert)
    .then((returningRows) => {
      parentPort.postMessage({ data: returningRows });
    });
}

我正在关注这个网页的教程：https://blog.logrocket.com/use-cases-for-node-workers/

Answer 1

这当然是可能的，但这是一个非常糟糕的主意。

数据库驱动程序已经是异步且非阻塞的 JavaScript 线程。按照您的建议将插入调用移至单独的线程不仅不会提高性能，而且实际上会降低整体性能，因为线程间通信涉及开销：

• 同步和消息传递不是免费的
• JavaScript 在线程之间移动数据时使用structured cloning。这意味着您的所有rowsToInsert 都必须被复制，这是（相对）昂贵的。

通常，真正适合使用 JS 线程的唯一时间是您的 JavaScript 代码 正在执行 CPU 密集型工作。 node docs say as much right at the top：

Worker（线程）对于执行 CPU 密集型 JavaScript 操作很有用。它们对 I/O 密集型工作没有多大帮助。 Node.js 内置的异步 I/O 操作比 Workers 效率更高。

这意味着，如果您要进行大量的解析、数学运算或类似工作，那么在线程中完成这些工作可能是合适的。然而，简单地将数据从一个地方铲到另一个地方（即 I/O）并不是线程的理想选择——毕竟，节点的设计经过调整以在这种工作中高效。

你没有说你的rowsToInsert 来自哪里，但如果它来自 HTTP 请求，那么使用线程是错误的。但是，如果您在服务器上解析例如 CSV 或 JSON 文件，可能值得在线程中执行此操作，但线程完成所有工作很重要（因此内存不需要在线程之间移动）。您发布给工作人员的消息应该只是“处理位于 /foo/bar.csv 的文件”，然后工作线程完成其余的工作。

---

您得到的错误是the same that you'd get without worker threads：您正尝试在常规的非模块JS 文件中使用import。将工作文件重命名为 *.mjs 或改用 require('knex')。

节点的ES module documentation 详细介绍了import 与require 的不同之处。