使用 Node JS、Puppeteer 和 Cheerio 进行网页抓取

Question

我试图做一些网络抓取。我的目标是找到所有直接跟随它们的<H></H> 标签和文本。示例将是：

<div>
 <h2>heading 1</h2>
 <p>text 1</p>
 <h3>heading 2></h3>
 <p>text 2</p>
</div>

结果是：

[
 {
        "title": "heading 1",
        "tag": "h2",
        "text": "text 1"
    },
    {
        "title": "heading 2",
        "tag": "h3",
        "text": "text 2"
    },
]

我的解决方案：

let headings = $('h1, h2, h3, h4, h5, h6');
let result = {}
    for (let i = 0; i < headings.length; i++) {
        let newObj = {};
        //preparing title from heading
        newObj.title = this.#cleanText($(headings[i]).text());

        //tag name of the heading
         newObj.tag = $(headings[i])[0].name;
        if($(headings[i]).nextUntil($(headings[i + 1])).find('img')){
          numberOfImage++; 
        }
       $(headings[i]).nextUntil($(headings[i + 1])).find('img').remove()
       $(headings[i]).next().find($(headings[i + 1])) && "got new heading"
        //getting html markup as string between current heading and next one
       if (i === headings.length - 1){
           newObj.text = $(headings[i]).nextAll().toString();
       }else{
           newObj.text = $(headings[i]).nextUntil($(headings[i + 1])).toString();
       }
       result.content.push(newObj)
   }

如您所见，如果所有 <h></h> 标记都是兄弟，我就可以了，但我无法处理任何嵌套标题，例如：

<div>
 <div><h3>heading 1></h3>
 <p>text 1</p>
  <h2>heading 2</h2>
 </div>
 <p>text 2</p>
 <h3>heading 3></h3>
 <p>text 3</p>
<div>
 <h3>heading 2></h3>
 <p>text 2</p>
</div>
</div>

我需要 Result 是这样的：

[
 {
        "title": "heading 1",
        "tag": "h2",
        "text": "text 1"
    },
    {
        "title": "heading 2",
        "tag": "h3",
        "text": "text 2"
    },

    {
        "title": "heading 3",
        "tag": "h3",
        "text": "text 3"
    },
]

如果有人可以为此提供解决方案，那将非常有帮助

Answer 1

它应该看起来像：

$('h1, h2, h3, h4, h5, h6').get().map(h => {
  return {
    title: $(h).text(),
    text: $(h).find('~ p').first().text()
  }
})

我正在使用 ~ ，它遵循同级选择器（仅限新版本的cheerio）