【发布时间】：2019-01-08 18:44:38
【问题描述】：
正如您在下面的示例代码中看到的那样，我正在使用 Puppeteer 和 Node 中的一组工作人员通过给定的 URL 运行多个网站屏幕截图请求：
const cluster = require('cluster');
const express = require('express');
const bodyParser = require('body-parser');
const puppeteer = require('puppeteer');
async function getScreenshot(domain) {
let screenshot;
const browser = await puppeteer.launch({ args: ['--no-sandbox', '--disable-setuid-sandbox', '--disable-dev-shm-usage'] });
const page = await browser.newPage();
try {
await page.goto('http://' + domain + '/', { timeout: 60000, waitUntil: 'networkidle2' });
} catch (error) {
try {
await page.goto('http://' + domain + '/', { timeout: 120000, waitUntil: 'networkidle2' });
screenshot = await page.screenshot({ type: 'png', encoding: 'base64' });
} catch (error) {
console.error('Connecting to: ' + domain + ' failed due to: ' + error);
}
await page.close();
await browser.close();
return screenshot;
}
if (cluster.isMaster) {
const numOfWorkers = require('os').cpus().length;
for (let worker = 0; worker < numOfWorkers; worker++) {
cluster.fork();
}
cluster.on('exit', function (worker, code, signal) {
console.debug('Worker ' + worker.process.pid + ' died with code: ' + code + ', and signal: ' + signal);
Cluster.fork();
});
cluster.on('message', function (handler, msg) {
console.debug('Worker: ' + handler.process.pid + ' has finished working on ' + msg.domain + '. Exiting...');
if (Cluster.workers[handler.id]) {
Cluster.workers[handler.id].kill('SIGTERM');
}
});
} else {
const app = express();
app.use(bodyParser.json());
app.listen(80, function() {
console.debug('Worker ' + process.pid + ' is listening to incoming messages');
});
app.post('/screenshot', (req, res) => {
const domain = req.body.domain;
getScreenshot(domain)
.then((screenshot) =>
try {
process.send({ domain: domain });
} catch (error) {
console.error('Error while exiting worker ' + process.pid + ' due to: ' + error);
}
res.status(200).json({ screenshot: screenshot });
})
.catch((error) => {
try {
process.send({ domain: domain });
} catch (error) {
console.error('Error while exiting worker ' + process.pid + ' due to: ' + error);
}
res.status(500).json({ error: error });
});
});
}
一些解释：
- 每次请求到达时，工作人员都会处理它并在最后杀死自己
- 每个工作人员使用单个页面创建一个新的浏览器实例，如果一个页面的加载时间超过 60 秒，它将重新尝试重新加载它（在同一页面中，因为可能已经加载了一些资源），超时时间为 120 秒
- 完成后，页面和浏览器都将关闭
我的问题是某些合法域出现了我无法解释的错误：
Error: Protocol error (Page.navigate): Target closed.
Error: Protocol error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.
我在一些 git 问题（我现在找不到）中读到，当页面重定向并在开头添加“www”时会发生这种情况，但我希望这是错误的...... 我有什么遗漏吗？
【问题讨论】：
-
有什么发现...？
-
@Sajuuk 不幸的是不是真的......但我看了this 视频并认为失去集群并尝试PubSub架构，其中Puppeteer服务器将读取主机名，返回屏幕截图并移动到下一个一个
-
如果您最近升级到 macOS Catalina，请查看此问题：github.com/GoogleChrome/puppeteer/issues/5020
标签： node.js web-scraping puppeteer google-chrome-headless node-cluster