【发布时间】:2015-09-01 04:17:54
【问题描述】:
我目前正在编写一个脚本,该脚本会爬取多个站点并将结果转储到 mongodb 中。当我运行批量种子文件时(因此我不必手动运行每个爬虫和单个种子),第一个爬虫完成,但以下错误挂起,阻止了其余步骤的发生。
fs: missing callback Error: ENOENT, open '../cache/nfHitters.json'
以下是我的爬虫代码。有没有办法完全消除此错误(或者我是否缺少最佳实践来防止这种情况同时发生)?
var cheerio = require("cheerio");
var request = require("request");
var json = require("json");
var fs = require('fs');
request('website-I-Am-Crawling.com',
function (error, response, html) {
if (!error && response.statusCode == 200) {
var $ = cheerio.load(html)
var variable = $('script')[3].children[0].data
var data = variable.substring(variable.indexOf("= ")+2, variable.indexOf(";"))
fs.writeFile('../cache/nfHitters.json', data, error)
};
});
【问题讨论】:
标签: node.js request fs cheerio