github使用node.js的速率限制

Question

我正在使用 node.js 编写一个应用程序，它向 github 发送请求并获取 github 项目问题的 html 页面。当我为第 40 页发送更多请求时，我收到 429 请求响应。我怎样才能克服 github 的这个 RATE 限制？

function requestPage(pageNo){
	var changedUrl = url+"?page="+pageNo+"&q=is%3Aissue+is%3Aopen";				//URL for requesting all the pages individually	
	request(changedUrl, function(error, response, html){				//requesting thee web page
		if(error){
			return error;
		}
		else{
			var $ = cheerio.load(html);

			if(pageNo == 40){
				console.log(response.statusCode);
				fs.writeFile("page.html", html ,'utf8',function(err){
					if(err) {
						return console.log(err);
					}
					console.log("The file was saved!");
				}); 
 
			}			
             //functions
		}
	});			
 }

for (var i = 1; i <= noOfPages; i++) {
	requestPage(i);
}

Answer 1

为正确的工作使用正确的工具

首先，请注意您最好使用github API 而不是请求 HTML 页面。它应该使您的工作更轻松，因为您将直接以 JSON 格式获取您感兴趣的数据，而无需解析 HTML。 问题 API 端点记录在 here。

您还应该检查 github 是否允许您抓取他们的页面，并确保您的请求不会使他们的服务器过载。

修复您的代码

但是，如果你想继续你正在做的事情，你可以这样安排你的代码：

处理速率限制

在request函数回调中，你应该添加一个条件来检查来自github的响应：

request(changedUrl, function(error, response, html){
    if(error){
        return error;
    }
    else{
        if (response.headers.status === '429 Too Many Requests') {
            setTimeout(function() {requestPage(pageNo)}, 54000000}) // retry in some delay (find out the appropriate timeout value)
        }
        else {
            ... //continue the processing

表现良好

您的代码中需要进行的另一项更改可能会避免您受到速率限制。它还应该节省您的 CPU 和 github 服务器。

这很糟糕：

for (var i = 1; i <= noOfPages; i++) {
    requestPage(i);
}

原因：您正在向 github 准同时发送noOfPages 请求。

如何解决：使用递归函数而不是 for 循环，并在调用之间设置延迟。

固定代码：

function requestPage(pageNo){
var changedUrl = url+"?page="+pageNo+"&q=is%3Aissue+is%3Aopen";				//URL for requesting all the pages individually	
	
	request(changedUrl, function(error, response, html){				//requesting thee web page
		if(error){
			return error;
		}
		else{
			if (response.headers.status === '429 Too Many Requests') {
				// retry to request the same page after some delay
				setTimeout(function() {requestPage(pageNo)}, 54000000})
			}
			else {
				var $ = cheerio.load(html);

				if(pageNo == 40){
					console.log(response.statusCode);
					fs.writeFile("page.html", html ,'utf8',function(err){
						if(err) {
							return console.log(err);
						}
						console.log("The file was saved!");
					}); 

				if (i < noOfPages) {
					// request next page after a small delay
					setTimeout(function() {requestPage(pageNo+1)}, 15000})
				}
			}
		}
	});			
}

// request the first page immediately
requestPage(1);

我让你来清理硬编码的if(pageNo == 40){，它可能应该是if(pageNo == noOfPages){，并且可以用下面的if子句来安排。

Answer 2

在带有 babel 的 ES7 中，一次只有一页：

import req from 'request-promise';

async function getPages(urls) {
  for (let url of urls) {
    let html = await req(url);
    console.log(html);   
 }