运行 24/7 的 DigitalOcean 液滴上的 Puppeteer 脚本最大化内存并崩溃

Question

我有一个简单的 puppeteer 脚本，我在每月 5 美元的 digitalocean 液滴上运行。脚本如下。该脚本登录到电子商务网站，并不断刷新页面以查找特定交易（如果发现添加到购物车和结帐）。从监控图中可以看出，内存随着每个循环而增加，直到达到最大值，然后脚本崩溃。我认为这里的内存是 RAM，而不是存储空间。

谁能建议一个更好的方法来配置 puppeteer 脚本来解决这个问题？循环运行大约需要 5 秒，运行大约 12 小时，直到内存使用量增加到循环运行时间从每次运行 5 秒爬升到每次运行 30 秒的地步。然后最终内存达到最大值并导致脚本崩溃。

在每次运行中关闭并重新打开浏览器会解决内存问题吗？ 是因为我将脚本作为一个永无止境的 .js 文件运行吗？

Droplet 内存截图

const puppeteer = require('puppeteer-extra')
puppeteer.use(require('puppeteer-extra-plugin-stealth')())
const fs = require('fs');
const performance = require('perf_hooks').performance;


(async () => {
  const browser = await puppeteer.launch({
    args: ['--no-sandbox'],
    headless: true
  })
  const page = await browser.newPage()
 
  //Login to page
  await page.goto('https://example.com/login', {waitUntil: 'load', timeout: 0});
  await page.type('[name=email]','xxx@xxx.com');
  await page.click('button[type="submit"]');
  await page.waitForTimeout('input[name=password]');
  await page.type('[name=password]','xxx');
  await page.click('button[type="submit"]');

  var runcount = 0
  var foundcount = 0

  //loops always running after logging in
  while(true){
    var t0 = performance.now();  
    
    await page.goto('https://www.example.com/xxx', {waitUntil: 'load', timeout: 0});
    
    //do some await page.$$eval here
    
  
    runcount++;
    var t1 = performance.now();
    console.log("Run: " + runcount + " | Runtime: " + Math.floor((t1 - t0)/1000);
  
  }
 
  await browser.close()
})()

Answer 1

使用PM2 封装的 Puppeteer 作品 - 是一个有助于观察 node.js 脚本的 javascript 库 - 在引发错误等时重新启动脚本。封装可能对您的情况有所帮助，因为内存阈值的配置当达到指定的限制时重新启动整个脚本，并具有最短的停机时间。 pm2超级好用，只需要全局或本地安装库，然后指明要加载的js文件即可。

图书馆有很好的documentation供你个人使用。

安装后，你需要在你的项目中创建一个生态系统文件.js，像这些，我有2个不同的脚本，但你只能放一个

module.exports = {
  apps : [{
    name: "server-centrodonto",
    script: "./dist/server.js",
    exp_backoff_restart_delay: 100,
    max_memory_restart: '200M',
    watch: false, 
    exec_mode  : "cluster",
    instances: 1,
    env: {
      "NODE_ENV": "development",
      "APP_NAME": "server-centrodonto",
      "PORT": 3030,
      "HOST": "localhost",
      "DATABASE": "centrodonto-database-development"
    },
    env_production : {
      "NODE_ENV": "production",
      "APP_NAME": "server-centrodonto",
      "PORT": 3030,
      "HOST": "localhost",
      "DATABASE": "centrodonto-database"
   }
  },
  {
    name: "wpp-bot-atendente_virtual-centrodonto", 
    // here you put your js file location
    script: "./dist/whatsappBot/AtendenteVirtual_bot.js",
    exp_backoff_restart_delay: 100,
    max_memory_restart: '200M',
    watch: false, 
    exec_mode  : "cluster",
    instances: 1,
    env: {
      "NODE_ENV": "development",
      "APP_NAME": "WPPbot_atendente virtual",
    },
    env_production : {
       "NODE_ENV": "production",
       "APP_NAME": "WPPbot_atendente virtual",
    }
  }
],

};

在你需要像这样配置你的包脚本之后：

 "scripts": {
    "start": "yarn pm2 start ecosystem.config.js --env production",
    "start-dev": "yarn pm2 start ecosystem.config.js"
  },

就我而言，我是在本地安装的。

之后只需运行 yarn start，库就会加载您的脚本。然后您可以使用以下命令查看日志和内存使用情况：pm2 logs 或 pm2 monit