【问题标题】:Phantomjs crash on multiple calls from nodejsPhantomjs 在来自 nodejs 的多个调用中崩溃
【发布时间】:2016-06-27 17:48:43
【问题描述】:

我正在开发一个项目,在该项目中,我需要从 nodejs 生成/执行多个进程以调用 phantomjs 大约 50-100,这应该很容易处理。 这些是我遵循的步骤:

1.nodejs(无限循环),它总是运行以检查条件,如果条件满足则,

  1. nodejs 生成或执行一个新进程来调用 phantomjs。

虽然我在完成幻像任务后退出 (phantom.exit()),但如果我执行太多进程让 nodejs 说 100,在大多数 phantomjs 进程输出中我得到 phantomjs 崩溃。

是不是因为进程太多?但是我觉得50-100也不算多,这么广泛使用的框架(phantomjs)我觉得应该能处理最少500个请求吧。

如果我在某处出错或遗漏了什么,请提供帮助。

我目前正在使用 exec tp calll phantom

child = execFile(binPath, args, function (error, stdout, stderr) { ---my code here---- });

而 phantomjs 文件太长,我认为这足以让我退出它们:

    setTimeout(function() {
        phantom.exit();
    }, 0);

提前致谢:)

【问题讨论】:

  • 崩溃是什么意思?你有任何崩溃日志或一些关于崩溃的消息吗?
  • localStorage 被多个 PhantomJS 进程共享,因为它总是被写入磁盘。可能localStorage 数据库存在锁定限制,导致 PhantomJS 崩溃。
  • 嗨@alexey 它有时会说 phantomjs 崩溃并给出我无法读取的日志文件路径,有时进程会因失败而停止。
  • 嗨@ArtjomB。我对它很陌生,对它了解不多,我会搜索它,但如果你能告诉我,如果它设置为有限,我将如何更改它。

标签: node.js phantomjs


【解决方案1】:

消耗的内存是进程数量和每个进程使用的内存的函数。我认为内存泄漏会产生更大的影响,您运行的子进程越多。

Phantomjs 存在已知的内存泄漏。这可能是您的问题。

在大约 50 个页面加载后再次执行您的 PhantomJS 子进程。

您可以通过传递命令行参数来传递所需的信息,以便从上次中断的地方重新开始。

https://github.com/ariya/phantomjs/issues/11390

【讨论】:

  • 嗨@therewillbecode,我已经一个接一个地执行exec,第一次加载后的第二个页面加载是一个新的exec,因此是一个新进程,你的意思是我应该等待前50个完成吗?顺便说一句,提供的链接最后说使用 phantom2.0 可以解决它,我已经在使用 phantom2.0。虽然我没有尝试使用“--load-images = true”,但我不知道它会产生什么差异,但我会尝试肯定非常感谢您的快速回复
  • 我的意思是不要让一个进程运行太久。因此,如果单个任务超过 50 个分页,则将其分解为多个 exec 进程。让我知道这是否清楚。
  • 嗨,谢谢,但我不清楚。如何打破 phantomjs 进程,例如,如果我需要在 fb 上发布状态,我需要登录然后发布状态,这可以在单个进程中完成,如果我登录 1 个进程并尝试在第 2 个进程中发布状态,那么它不可能,因为我们不能在没有登录的情况下发帖他们各自的任务。过程。我以不同的方式执行它们,所以它们都是不同的过程。
  • 谢谢@therewillbecode 我解决了它,不完全是这个,但是的一些与它相关的东西。
【解决方案2】:

这是我为解决它所做的事情, 我一次只执行 30 个请求并将其余的请求保留在队列中,我将前 30 个请求的计数器从 0 增加到 30,然后当请求完成时,每个请求将其减 1。 我保留了一个 requestQueue,我将每个请求都放在其中:

var requestQueue = {}
var counter = 0;
requestQueue.push(--anyreq--);

    setInterval(function() { // check frequently if there is a space to send more request to phantom

    if(counter < 30 && requestQueue.length > 0 ){
            counter++;   //increement the counter while sending spawning req for phantom

            var reqforPhantom = requestQueue.shift(); 

    //spawn or exec a req for phantomjs sending 'reqforPhantom' (this is something you want to send to phantom script, if you don't want to send anything you could remove request queue from this code) variable
    //decrement the counter on response
              counter--;
    }
    },100);

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-07-14
    • 2014-06-17
    • 1970-01-01
    • 2014-02-14
    • 2013-10-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多