没有得到预期的输出 - Cheerio答案

【问题标题】：Not getting expected output - Cheerio没有得到预期的输出 - Cheerio
【发布时间】：2021-07-09 14:04:58
【问题描述】：

我正在尝试使用cheerio 从 naukri.com 网站上获取工作。预期输出是整个页面的文本，而不是我得到以下输出。

<iframe src="https://www.googletagmanager.com/ns.html?id=GTM-NX744H"height="0" width="0" style="display:none;visibility:hidden"></iframe>     
<img src="https://www.naukri.com/akam/11/pixel_74f1c4ec?a=dD1hYjJmYTA0N2JkNDM1ODI5NmY0YmZlNzk1ZTMxNGI4YTU1YmEyNWI4JmpzPW9mZg==" style="visibility: hidden; position: absolute; left: -999px; top: -999px;" />

这里是代码

'use strict';
const { default: axios } = require('axios');
const cheerio = require('cheerio');

async function jobUrls() {
    try {
        const siteUrl = 'https://www.naukri.com/cse-jobs?k=cse';
        const { data } = await axios({
            method: 'GET',
            url: siteUrl,
        });
        const $ = cheerio.load(data);
        console.log($.text())
    }
    catch (er) {
        console.log(er)
    }
}
jobUrls();

【问题讨论】：

标签： javascript web-scraping cheerio

【解决方案1】：

网站https://www.naukri.com/cse-jobs?k=cse 很可能是 SPA（单页应用程序）。它不能以直接的方式刮掉。这就是浏览器和axios访问网站的区别。

(axios) : 请求 HTML --> 获取包含脚本的 HTML 响应 --> 完成
（浏览器）：请求 HTML --> 获取包含脚本的 HTML 响应 --> 运行脚本 --> 获取更多数据 --> 渲染 --> 完成。

这是axios的限制，它只做一个HTTP请求。如果您需要抓取整个页面，请考虑在 Node.js 中使用无头浏览器。 Puppeteer 是一个众所周知的包。

【讨论】：