Node.js 工作线程共享对象/存储答案

【问题标题】：Node.js worker threads shared object/storeNode.js 工作线程共享对象/存储
【发布时间】：2018-12-05 18:50:40
【问题描述】：

所以，我正在阅读一些关于 Node.js 的资料，当我遇到 Worker Threads 时，我感到很惊讶。

在我看来，拥有线程是一个很大的优势，特别是如果你将它与共享内存访问结合起来。正如您可能已经想到的那样 -> SharedArrayBuffer...

是的，我就是这么想的。所以我想到的第一件事就是给它做一个小测试，并尝试实现一个简单的store（现在是一个简单的对象），它将在线程之间共享。

问题是，（除非我在这里遗漏了什么）如何使用SharedArrayBuffer 使一个对象可以从 n 个线程中访问？

我知道对于一个简单的Uint32Array 是可行的，但是关于对象可以做什么呢？

一开始我想把它转换成Uint32Array，就像你在下面看到的那样，但即使是看到该死的源代码也让我想哭……

const {
    Worker,
    isMainThread,
    workerData
} = require('worker_threads');

const store = {
    ks109: {
        title: 'some title 1',
        description: 'some desciption 1',
        keywords: ['one', 'two']
    },
    ks110: {
        title: 'some title 2',
        description: 'some desciption 2',
        keywords: ['three', 'four']
    },
    ks111: {
        title: 'some title 3',
        description: 'some desciption 3',
        keywords: ['five', 'six']
    }
}

const shareObject = (obj) => {

    let OString = JSON.stringify(obj);
    let SABuffer = new SharedArrayBuffer(Int32Array.BYTES_PER_ELEMENT * OString.length);
    let sArray = new Int32Array(SABuffer);

    for (let i = 0; i < OString.length; i++) {
        sArray[i] = OString.charCodeAt(i);
    }

    return sArray;

}

if (isMainThread) {

    const sharedStore = shareObject(store);

    console.log('[Main][Data Before]:', sharedStore.slice(-10));

    let w = new Worker(__filename, {
        workerData: sharedStore
    });

    w.on('message', (msg) => {
        console.log(`[Main][Thread message]: ${msg}`);
    });
    w.on('error', (err) => {
        console.error(`[Main][Thread error] ${err.message}`);
    });
    w.on('exit', (code) => {
        if (code !== 0) {
            console.error(`[Main][Thread unexpected exit]: ${code}`);
        }
    });

    setInterval(() => {
        // At some point you ll see a value change,
        // it's 'six' becoming 'sax' (big time!) 
        console.log('[Main][Data Check]:', sharedStore.slice(-10));
    }, 1000);

} else {

    let str = String.fromCharCode.apply(this, workerData);
    let obj = JSON.parse(str);

    obj.ks111.keywords[1] = 'sax'; // big time!

    let OString = JSON.stringify(obj);

    for (let i = 0; i < OString.length; i++) {
        workerData[i] = OString.charCodeAt(i);
    }

}

总之，Node.js 10.5.0 中的线程间共享对象，有可能吗？怎么样？

【问题讨论】：

从我读到的唯一直接共享内存是SharedArrayBuffer，它只包含原始二进制数据（不是对象）。所以，我看不出你将如何在线程之间直接共享一个对象。工作线程在没有共享常规变量的浏览器中的工作方式类似于网络工作人员，它们必须通过postMessage() 与其他代码通信（出于同步原因）。
将一段 JSON 放入 SharedArrayBuffer 似乎除了共享一个字符串之外没有多大帮助。每个工作人员都必须 JSON.parse() 将 JSON 转换为自己的非共享对象。这种级别的共享可以通过在有人想要更改数据时向每个工作人员发布一条消息来完成，以便所有工作人员都拥有相同数据的副本。
Node 中与 sharedObjects 最接近的答案可能在这里 - stackoverflow.com/questions/25519325/…
可能感兴趣的是comlink

标签： node.js multithreading worker-thread

【解决方案1】：

ECMA 脚本不包含共享对象，但它有 SharedArrayBuffer。您可以使用DataView 和包装器在自己的缓冲区中直接写入数据来实现这种行为：

// Shared value
class SharedPoint {
  constructor(array) {
    this.dataview = new DataView(array);
  }

  set x(value) {
    this.dataview.setUint8(0, value);
  }

  set y(value) {
    this.dataview.setUint8(1, value);
  }

  get x() {
    return this.dataview.getUint8(0);
  }

  get y() {
    return this.dataview.getUint8(1);
  }
}

// Usage

const buffer = new SharedArrayBuffer(2);

// Create two instances of shared point.
const point0 = new SharedPoint(buffer);
const point1 = new SharedPoint(buffer);

// Get initial values for point #1
console.log('x', point1.x); // 0
console.log('y', point1.y); // 0

// Update point #0
point0.x = 64;
point0.y = 32;

// Get changes in point #1
console.log('x', point1.x); // 64
console.log('y', point1.y); // 32

您可以创建可以操作字符串或C-like structures 的类。虽然SharedArrayBuffer 是可传输对象，但它可以在工作进程和主进程之间共享。

⚠️ 注意由于Spectre attack SharedArrayBuffer 已被所有主要浏览器禁用，并在 Chrome 68 和 Firefox 79 后重新启用。请检查 can i use 上的浏览器支持。

【讨论】：