【发布时间】:2015-12-05 07:20:56
【问题描述】:
系统:Windows 8.1 64bit,带有来自主页的二进制文件,版本 2.0
我有一个每行 1 个 URL 的 .txt 文件,我阅读每一行并打开页面,搜索特定的 url.match(出于隐私原因在代码中更改了域) - 如果找到,打印找到的 JSON,中止请求,卸载页面。 我的 .txt 文件包含 12500 个链接,出于测试目的,我将其拆分为前 10/100/500 个 url。
问题 1:如果我尝试 10 个 url,它会打印 9,然后使用 40-50% cpu
问题 2:如果我尝试 100 个 url,它会打印 98 个,之后出于任何原因使用 40-50% cpu,然后在 2-3 分钟后崩溃。
问题 3: 98 个链接(打印 96,使用 40-50% cpu,然后也崩溃)和 500 个链接也是如此
TXT 文件: https://www.dropbox.com/s/eeiy12ku5k15226/sitemaps.7z?dl=1
98、100 和 500 链接的故障转储: https://www.dropbox.com/s/ilvbg8lv1bizjti/Crash%20dumps.7z?dl=1
console.log('Hello, world!');
var fs = require('fs');
var stream = fs.open('100sitemap.txt', 'r');
var line = stream.readLine();
var webPage = require('webpage');
var i = 1;
while(!stream.atEnd() || line != "") {
//console.log(line);
var page = webPage.create();
page.settings.loadImages = false;
page.open(line, function() {});
//console.log("opened " + line);
page.onResourceRequested = function(requestData, request) {
//console.log("BEFORE: " +requestData.url);
var match = requestData.url.match(/example.com\/ac/g)
//console.log("Match: " + match);
//console.log("Line: " + line);
//console.log("Match: " + match);
if (match != null) {
var targetString = decodeURI(JSON.stringify(requestData.url));
var klammerauf = targetString.indexOf("{");
var jsonobjekt = targetString.substr(klammerauf, (targetString.indexOf("}") - klammerauf) + 1);
targetJSON = (decodeURIComponent(jsonobjekt));
console.log(i);
i++;
console.log(targetJSON);
console.log("");
request.abort();
page.close();
}
};
var line = stream.readLine();
}
//console.log("File closed");
//stream.close();
【问题讨论】:
标签: javascript crash phantomjs httprequest