【发布时间】:2015-11-29 18:43:32
【问题描述】:
我正在开发一个简单的网络抓取工具,用于抓取演员/女演员的姓名,但出现错误。请你检查一下,我觉得我做错了什么。
返回[ReferenceError: options2 is not defined]
错误。
非工作版本(使用 Promises)
var entities = require("entities");
var request = require('request');
var cheerio = require('cheerio');
// create promisified version of request()
function requestPromise(options) {
return new Promise(function (resolve, reject) {
request(options2, function (err, resp, body) {
if (err) return reject(err);
resolve(body);
});
});
}
app.get('/fetch', function (req, res) {
var promises = [];
var headers = {
'User-Agent': req.headers['user-agent'],
'Content-Type': 'application/json; charset=utf-8'
};
for (var i = 1; i < 10; i++) {
promises.push(requestPromise({url: "http://example.com/person/" + i + "/personname.html", headers: headers}));
}
Promise.all(promises).then(function (data) {
// iterate through all the data here
for (var i = 0; i < data.length; i++) {
if ($ = cheerio.load(data[i])) {
var links = $("#container");
var name = links.find('span[itemprop="name"]').html(); // name
if (name == null) {
console.log("null name returned, do nothing");
} else {
name = entities.decodeHTML(name);
console.log(name); // it doesn't echo the name, WHY?
}
} else {
console.log("can't open");
}
}
}, function (err) {
// error occurred here
console.log(err);
});
});
工作版本(丑陋且不按顺序,这就是我尝试进入 Promises 的原因)
var entities = require("entities");
var request = require('request');
var cheerio = require('cheerio');
app.get('/back', function (req, res) {
for (var y = 1; y < 10; y++) {
(function () {
const id = y;
var url = "http://example.com/person/" + id + "/personname.html";
var options2 = {
url: url,
headers: {
'User-Agent': req.headers['user-agent'],
'Content-Type': 'application/json; charset=utf-8'
}
};
request(options2, function (err, resp, body) {
if (err) {
console.log(err);
} else {
if ($ = cheerio.load(body)) {
var links = $('#container');
var name = links.find('span[itemprop="name"]').html(); // name
if (name == null) {
console.log("null name returned, do nothing");
} else {
name = entities.decodeHTML(name);
console.log(name); // it echoes name, so it works.
}
}
else {
console.log("can't open");
}
}
});
}());
}
});
【问题讨论】:
-
是否遇到错误?
-
这是基本的 Javascript 调试,用于跟踪您得到的响应以及为什么它不遵循您想要的代码路径。我会说首先将
console.log(err)放在Promise.all().then()处理程序的错误分支中。如果您的任何请求返回错误,Promise.all()将转到错误处理程序。如果这没有显示任何内容,请在Promise.all().then()处理程序中执行console.log(data)for循环,以准确查看您到达那里的内容。或者,您可以在Promise.all().then()处理程序的两个分支中设置断点,然后单步执行。 -
我编辑了问题详情,感谢您的帮助。