请求nodejs获取不可读的数据

Question

我正在尝试使用 node.js 上的库请求来抓取 html。响应代码是 200，我得到的数据是不可读的。这是我的代码：

var request = require("request");

const options = {
  uri: 'https://www.wikipedia.org',
  encoding: 'utf-8',
  headers: {
    "Accept": "text/html,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3", 
    "charset": "utf-8",
    "Accept-Encoding": "gzip, deflate, br", 
    "Accept-Language": "en-US,en;q=0.9", 
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/78.0.3904.108 Chrome/78.0.3904.108 Safari/537.36"
    }
};


request(options, function(error, response, body) {
  console.log(body);

});

如您所见，我发送了对 html 和 utf-8 的请求，但得到了一个大字符串，如 f��j���+����x��,�G�Y�l

我的节点版本是v8.10.0，请求版本是2.88.0。

代码有问题还是我遗漏了什么？？

任何解决此问题的提示将不胜感激。

Answer 1

更新答案：

回应您的最新帖子：

它不适用于 Amazon 的原因是响应是 gzipped.。为了解压缩 gzip 响应，您只需将 gzip: true 添加到您正在使用的 options 对象中。这适用于亚马逊和维基百科：

const request = require('request');

const options = {
    uri: "https://www.amazon.com",
    gzip: true
}

request(options, function(error, response, body) {
    if (error) throw error;

    console.log(body);
});

最后，如果您想像这样抓取网页，最好使用网络抓取框架，例如 Puppeteer，因为它是为网页抓取而构建的。

请参阅 here 获取 Puppeteer GitHub。

---

---

原答案：

由于您只是从主页抓取 HTML，因此您不必指定 charset、encoding 或 Accept-Encoding..

const request = require('request');

const options = {
    uri: 'https://www.wikipedia.org',
    //encoding: 'utf-8',
    headers: {
        "Accept": "text/html,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
        //"charset": "utf-8",
        //"Accept-Encoding": "gzip, deflate, br",
        "Accept-Language": "en-US,en;q=0.9",
        "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/78.0.3904.108 Chrome/78.0.3904.108 Safari/537.36"
    }
};

request(options, function (error, response, body) {
    if (error) throw error

    console.log(body);
});

更进一步...在这种情况下，您根本不需要指定标题...

const request = require('request');

request('https://www.wikipedia.org', function (error, response, body) {
    if (error) throw error

    console.log(body);
});

Answer 2

谢谢你的回复，当我用它来维基百科页面正常工作时，但是当我用它来抓取另一个像亚马逊这样的网站时，得到了同样糟糕的结果

const request = require('request');

request('https://www.amazon.com', function (error, response, body) {
    if (error) throw error

    console.log(body);
});