如何从 chrome 中打开的选项卡中抓取 HTML？答案

【问题标题】：How can I scrape HTML from an open tab in chrome?如何从 chrome 中打开的选项卡中抓取 HTML？
【发布时间】：2019-05-26 15:30:02
【问题描述】：

我需要从网站访问实时数据。但是，它需要使用验证码和 chrome 浏览器登录。我尝试使用 WebClient 来完成此操作，但无法绕过验证码和 chrome 浏览器的要求。

所以，我想使用 chrome 浏览器手动登录到包含我需要的数据的确切页面。然后触发外部程序从打开的浏览器选项卡访问 html 并监视它以获取新数据。我的首选语言是 c#

任何帮助将不胜感激

【问题讨论】：

【解决方案1】：

Puppeteer 是您所需要的。一个简单的 javascript 脚本可以加载页面，等待您登录，然后从页面中抓取您需要的任何数据。

Puppeteer 是一个 Node 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chrome 或 Chromium。 Puppeteer 默认运行无头，但可以配置为运行完整（非无头）Chrome 或 Chromium。

【讨论】：