如何使用 Golang 进行 Web Scraping 单击按钮 [关闭]

Question

我正在尝试使用 Golang 抓取网站，为了获得更多内容，我需要点击 <button> 并等待几秒钟。 （注意：本站没有分页）

我发现了一些很酷的包来进行网络抓取，例如：

• 冲浪 (gopkg.in/headzoo/surf.v1)
• goquery (github.com/PuerkitoBio/goquery)

但我找不到如何单击按钮。

有没有可以做到这一点的包？还是我需要使用 ChromeDriver/Headless Chrome/etc.？

Answer 1

发现于：https://stackoverflow.com/a/26823658/4784357

在 Web 浏览器开发者工具中打开 Network tab 并检查单击按钮时发生的情况以继续使用 goquery、surf 等包。

在其他情况下，网络浏览器需要自动执行此类任务。