使用 Apps 脚本抓取 javascript 呈现的网页答案

【问题标题】：Using Apps Script to scrape javascript rendered web page使用 Apps 脚本抓取 javascript 呈现的网页
【发布时间】：2018-05-01 23:00:59
【问题描述】：

我正在努力将脚本放在一起以处理通过 Apps 脚本抓取 javascript 呈现的网页。在这里找到了这个How to scrape Javascript rendered websites using Javascript?，但我不知道如何把它放在一起。比如加载puppeteer。任何帮助将不胜感激。

【问题讨论】：

这个问题太宽泛了。请简要说明您的搜索/研究工作，了解如何在 Google Apps 脚本平台上使用该线程中描述的概念。
虽然我和你一样，但不幸的是根本没有希望因此我使用 chromium-driver 作为中间件和云中的主机。所以我的谷歌应用脚本将调用该入口点来获取数据

标签： javascript google-apps-script web-scraping

【解决方案1】：

您可以尝试抓取初始 HTML，因为实际上抓取呈现的 HTML 非常困难，您必须使用无头浏览器。

有这个库：https://github.com/tautologistics/node-htmlparser 可以用来从 JavaScript 解析 HTML，它在 node 中，但是因为它不使用任何依赖项，所以你可以复制并粘贴你需要的函数。

恐怕解析它不是一件容易的事。

【讨论】：