使用 go-colly 抓取时 noscript 的问题答案

【问题标题】：problems with noscript when scraping using go-colly使用 go-colly 抓取时 noscript 的问题
【发布时间】：2021-02-20 03:41:16
【问题描述】：

所以我正在从一个网站制作一个抓取脚本。当抓取文本成功时，仅当抓取图像失败时。当我检查元素时，代码仍然正常，但是当我运行视图源时，图像包装代码更改为 noscript。所以我想是这样的，也许有人可以帮忙？

c.OnHTML(".postarea", func(h *colly.HTMLElement) {
        as := Image{}
        as.Name = h.ChildText(".headpost .entry-title")
        h.ForEach(".maincontent", func(i int, x *colly.HTMLElement) {
            ya := So{}
            ya.Url = x.ChildAttr("#readerarea img", "src")
            as.Image = append(as.Image, ya)
        })
        b, err := json.MarshalIndent(as, "", " ")
        if err != nil {
            log.Println("failed to serialize response:", err)
            return
        }
        w.Header().Add("Content-Type", "application/json")
        w.Write(b)
    })
    c.OnRequest(

这是示例 html 代码。

<div id="readerarea"><noscript>
        <p><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" /><img loading="lazy"
                src="#" alt=""
                width="725" height="1024" class="alignnone size-full wp-image-72251" />
        </p>
    </noscript>
</div>

【问题讨论】：

标签： go go-colly

【解决方案1】：

页面上会有一些 JavaScript 更新此内容（<noscript> 部分适用于没有 JavaScript 的浏览器）。当您“查看源代码”时，您看到的是服务器提供的原始 HTML；使用“检查元素”，您可以看到 DOM 的现状（即在更新本节的任何脚本运行之后）。

Go-Colly 不运行 JavaScript，因此您需要另一种方法。选项包括查看 JavaScript 以了解它如何定位图像或使用 chromedp 之类的东西而不是 go-colly。

【讨论】：