【问题标题】:Child-process for cpu intensive task?cpu密集型任务的子进程?
【发布时间】:2013-07-31 04:05:37
【问题描述】:

所以我开始在我正在做的项目中使用 node.js。

当客户端发出请求时,我的 node.js 服务器从另一台服务器获取一个 json,然后将其重新格式化为一个新的 json,提供给该客户端。但是,节点服务器从其他服务器获取的 json 可能非常大,因此“按摩”数据会占用大量 CPU。

过去几个小时我一直在阅读 node.js 如何不适用于 cpu 任务,而我看到的主要响应是生成一个子进程(基本上是一个 .js 文件通过不同的节点实例)处理任何可能阻塞主事件循环的 CPU 密集型任务。

假设我有 20,000 个并发用户,这意味着它将在运行这些子进程时产生 20,000 个操作系统级作业。

这听起来是个好主意吗? (不同的 Web 服务器只会在同一个进程上创建 20,000 个线程。)

我不确定是否应该运行子进程。但我确实需要做一个非阻塞的 cpu 密集型任务。关于我应该做什么的任何想法?

【问题讨论】:

    标签: node.js


    【解决方案1】:

    这样说的人不知道如何构建解决方案。

    NodeJS 正是它所说的,它是一个节点,应该这样对待。

    在您的示例中,您的节点实例连接到外部 api 并抓取 json 进行处理并发回。

    即 1. 获取 // server.com/getJSON 2.处理json 3. 发布 // server.com/postJSON

    那你是做什么的? 问问自己时间是一个问题吗?如果是这样,那么节点不是解决方案 但是,如果您对原始处理能力更感兴趣,那么不要在 4 秒内完成 1 个请求

    您对在 10 秒内完成的 200 个请求感兴趣,但每个单独的请求大约需要整整 10 秒。

    如果少于 1 秒,请诊断您的 JSON 按摩需要多长时间。 只需运行 4 个节点实例而不是 1 个。

    但是,如果它比这更复杂,请将 json 分成段进行处理。并使用异步回调处理每个段

    process.nextTick(function(doprocess(segment1); process.nextTick(function() {doprocess(segment2)

    每个doProcess调用下一个doProcess

    Node js 将在请求之间交换时间。

    现在采用该解决方案并将其扩展为每台服务器 4 个节点实例和 2-5 个服务器

    突然之间,您有了一个极具扩展性和成本效益的解决方案。

    【讨论】:

    • 分割一个json文件,每台服务器创建4个节点实例,2-5台服务器?现在我有一个非常可扩展且具有成本效益的解决方案? .. 天哪。
    • 它比看起来简单。那 2-5 台服务器用于大量的吞吐量。那是从你所在的地方开始的几年。 NodeJS 被构建为像系统中的节点一样使用,它是做任何你想做的事情的最低要求。它不是可扩展性的预哈希解决方案,但是您可以使用它来构建一个非常好的系统。
    猜你喜欢
    • 2020-06-16
    • 1970-01-01
    • 2020-10-11
    • 1970-01-01
    • 2012-09-24
    • 2014-08-03
    • 1970-01-01
    • 2017-04-10
    • 2011-06-15
    相关资源
    最近更新 更多