node.js 中的网页抓取

Question

我遵循了一个简单的在线教程，它使用此代码打开并记录了一个网页：

const axios = require('axios')
const cheerio = require('cheerio')

async function getPriceFeed() {
  try{
    const siteUrl = 'coinmarketcap.com'
    const data = await axios({
      method: 'GET',
      url: siteUrl,
    })
    console.log(data)
  } catch (err) {
    console.error(err)
  }
}

getPriceFeed()

代码很简单，但是在我的控制台日志中我得到了这个：

Error: connect ECONNREFUSED 127.0.0.1:80
    at TCPConnectWrap.afterConnect [as oncomplete] (net.js:1144:16) {
  errno: 'ECONNREFUSED',
  code: 'ECONNREFUSED',
  syscall: 'connect',
  address: '127.0.0.1',
  port: 80,
  config: {
    url: 'coinmarketcap.com',
    method: 'get',
    headers: {
      Accept: 'application/json, text/plain, */*',
      'User-Agent': 'axios/0.21.1'
    },
    transformRequest: [ [Function: transformRequest] ],
    transformResponse: [ [Function: transformResponse] ],
    timeout: 0,
    adapter: [Function: httpAdapter],
    xsrfCookieName: 'XSRF-TOKEN',

等等等等

我在看什么？为什么它不返回一个长的 html 字符串？

Answer 1

您的 URL 错误：应该是 https://coinmarketcap.com/ 而不是 http://www.https://coinmarketcap.com/。

const axios = require('axios')
const cheerio = require('cheerio')

async function getPriceFeed() {
try{
    const siteUrl = 'https://coinmarketcap.com/'
    const data = await axios({
    method: 'GET',
    url: siteUrl,
    })
    console.log(data)
} catch (err) {
    console.error(err)
}
}

getPriceFeed()