使用 node.js 从 div 中检索文本

Question

我目前正在尝试编写一个刮板，它将使用 node.js 从 facebook 帖子中的 div 中获取所有“p”标签

页面上的每个帖子都位于所有具有此类的 div 中：.text_exposed_root

有时每个帖子中都有多个“p”标签，因此理想情况下，如果可能，我需要获取该 div 中的所有 html 文本。我正在使用cheerio 和请求模块，到目前为止我的代码如下：

request(BTTS, function(error, response, body){
    if (!error){
        var $ = cheerio.load(body), 
        post = $(".text_exposed_root p").text();

        console.log(post);
    } else {
        console.log("We’ve encountered an error: " + error);
    }
})

我尝试过使用 .text .value 和 .html 但它们都只返回一个空白响应。我猜我可能需要抓取该 div 中的所有“p”标签并将其转换为字符串？

提前致谢。

已编辑：

var url = ('https://www.facebook.com/BothTeamsToScore');

request({url:url, headers: headers}, function(error, response, body){
    if (!error){

        var strippedBody = body.replace(/<!--[\s\S]*?-->/g, "")

        console.log(strippedBody);

        var $ = cheerio.load(strippedBody), 
        post = $(".text_exposed_root p").text();

        console.log(post);
    } else {
        console.log("We’ve encountered an error: " + error);
    }
})

Answer 1

首先，您需要在请求中设置一些标头。没有它们，Facebook 将响应“不支持的浏览器”页面。这是你的第一个问题。

var headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.110 Safari/537.36',
   'Content-Type' : 'application/x-www-form-urlencoded'
}

var url = BTTS

request({url:url, headers: headers}, function(error, response, body){
    if (!error){
        var $ = cheerio.load(body.replace(/<!--|-->/g, ''))
        console.log($('.text_exposed_root p').text())
    } else {
        console.log("We’ve encountered an error: " + error);
    }
})

应该注意的另一件事是内容来自 html 注释。即

<code class="hidden_elem"><!-- 
... 
    <div class="text_exposed_root">
        <p>text</p>

Cheerio 不会解析评论节点，因此您很可能需要删除 <!-- 和 --> 并将结果加载回 Cheerio 以解析您想要的 html 部分。祝你好运！