网页抓取某些网页无法完成

Question

所以我正在学习使用节点 8 进行网络抓取，遵循这个 npm install --save request-promise chefio puppeteer

代码很简单

const rp = require('request-promise');
const url = 'https://www.examples.com'; //good

rp(url).then( (html) => {
    console.log(html);
}).catch( (e) => {
    console.log(e);
});

现在如果 url 是 examples.com，我可以看到纯 html 输出，太棒了。

Q1：如果是yahoo.com，它会输出二进制数据，例如 �i��,a��g�Z.~�Ż�ڔ+�Vr�K�#,bc���8�����|。 ���U>��p4U>mś0��Z�M�Xg"6�lS�2B�+�Y�Ɣ����? ��* 这是为什么？

Q2：然后是 nasdaq.com， 常量 url = 'https://www.nasdaq.com/earnings/report/msft'; 上面的代码只是不会完成，似乎挂在那里。

请问这是为什么？

Answer 1

我不确定 Q2，但我可以回答 Q1。

雅虎似乎将您检测为机器人并阻止您抓取页面！网站用来检测机器人的最常用方法是通过User-Agent header。当您使用request-promise（内部使用request 库）发出请求时，它根本不会设置此标头。这意味着网站可以推断您的请求来自程序（而不是 Web 浏览器），因为没有 User-Agent 标头。然后，他们会将您视为机器人，然后将您的胡言乱语发回给您，或者从不为您提供内容。

您可以通过manually setting a User-Agent header 来模拟浏览器来解决此问题。请注意，这似乎适用于 Yahoo，但可能不适用于所有网站。其他网站可能会使用更先进的技术来检测机器人。

const rp = require('request-promise');
const url = 'https://www.yahoo.com'; //good

const options = {
  url,
  headers: {
    'User-Agent': 'Mozilla/5.0 (Android 4.4; Mobile; rv:41.0) Gecko/41.0 Firefox/41.0'
  }
};

rp(options).then( (html) => {
    console.log(html);
}).catch( (e) => {
    console.log(e);
});

Q2 可能与此有关，但上面的代码并没有解决它。纳斯达克可能正在运行更复杂的机器人检测，例如检查various other headers。