使用 javascript 进行网页抓取

【问题标题】：Web scraping using javascript使用 javascript 进行网页抓取
【发布时间】：2020-08-23 16:45:09
【问题描述】：

我想创建一个网站（使用 HTML、CSS 和 Javascript）来从其他网站上抓取数据。我想使用 javascript 来实现这一点。最好的方法是什么？我想避免使用 Node.js 或其他框架。

【问题讨论】：

【解决方案1】：

如果您遇到 cors 错误，请使用 cors anywhere。

对于 dom 解析使用DomParser

例子：

fetch(`https://cors-anywhere.herokuapp.com/${url}`)
.then(response => response.text())
.then(html => {
  const parser = new DOMParser()
  const dom = parser.parseFromString(htmlContent, 'text/html')
  // now you can select elements like for normal node
  dom.querySelector('div')
})

您还有其他问题吗？

【讨论】：

康拉德感谢您的回答。那么您反对为此目的使用 Node.js 吗？
我不反对。但是托管 node.js 服务器并不像托管网页那么简单。