从多个站点获取 HTML 页面源

Question

有几个网站使用 AJAX 定期更新内容，我想监控它们。这就是为什么有必要保持多个网页窗口始终打开并定期获取页面源。

我正在寻找一种从这些网页中获取 HTML 源代码的方法！你能推荐一些东西吗？我需要它来进行统计分析。

到目前为止，这是我的想法：

1. 方法。手动打开单独的 Chrome 窗口。使用句柄查找窗口。问题是几乎不可能抓取网页的 HTML ..（富文本除外）

2. 方法。为 Chrome/Firefox 和 C# 程序编写扩展程序。程序将向扩展发送请求，扩展将返回网页的 HTML 内容。这就是理论。谷歌并没有寄予厚望，所以我不确定这是否可能......

3. 方法。最现实的一个。使用嵌入浏览器，如 CefSharp、Awesomium 等。但正如我所提到的 - 它们必须支持多个打开的窗口！这里有什么问题吗？

所以，这些是我经过数小时学习后的想法.. 就我个人而言，我很想实施方法 2，因为它是最棒的……但其他人也会这样做。什么是最简单和最防弹的？

另外，我希望有一个功能可以在这些窗口中进行一些输入操作。例如：登录/导航。

Answer 1

如果 IE 浏览器是一个选项，请考虑实现一个托管插件，它允许您在加载文档时挂钩通知、访问文档的实时 DOM、可能在 DOM 更改时通知等等。在 FF/Chrome 中也可以这样做。用IE查看IObjectWithSiteCOM接口。 This article seems to be a decent tutorial，虽然我不保证它的准确性。