如何使用 PowerShell 或 C# 将网页保存到 HTML 文件中？

Question

我有以下 link ，当我通过 Chrome 打开链接然后右键单击该页面然后选择“另存为”以将页面保存到 HTML 文件中 (c:\temp\cu2.html )

保存后，我可以用 HTML 编辑器（比如 VS2015）打开这个 cu2.html 文件，我可以看到 在文件中，有如下所示的标签

但是，如果我用 IE11（而不是 Chrome）打开链接，然后将同一页面保存为 HTML 文件，我根本找不到这个标签。实际上，从IE11保存的html文件和我用下面的PowerShell脚本可以提取的内容是一样的。

#Requires -version 4.0
$url = 'https://support.microsoft.com/en-us/help/4052574/cumulative-update-2-for-sql-server-2017';

$wr = Invoke-WebRequest $url;
$wr.RawContent.contains('<table') # returns false

$wr.RawContent | out-file -FilePath c:\temp\cu2_ps.html -Force; #same as the file saved from the webpage to html file in IE

所以我的问题是：

为什么在 Chrome 中保存的网页（作为 html 文件）与在 IE 中的不同？

如何使用 PowerShell（或 C#）将此类网页保存为 HTML 文件（与 Chrome 中保存的文件相同）？

提前感谢您的帮助。

Answer 1

您可以使用Selenium.WebDriver和Selenium.Chrome.WebDriver包下载并保存html内容：

var service = ChromeDriverService.CreateDefaultService();
service.HideCommandPromptWindow = true;
var options = new ChromeOptions();
options.AddArgument("headless");

using (var driver = new ChromeDriver(service, options))
{
    driver.Url = "https://support.microsoft.com/en-us/help/4052574/cumulative-update-2-for-sql-server-2017";
    File.WriteAllText("cu2_ps.html", driver.PageSource);
}

但这意味着您需要安装 chrome。您也可以使用 IE 驱动程序，但是按照另一个答案中的建议，使用 IE COM 自动化可能会更好。

Answer 2

页面使用 AngularJS 和 jQuery。这意味着文件准备好后将加载一些内容。因此，当您使用Invoke-WebRequest 发送请求时，您只会收到页面的原始内容。其他内容稍后会加载。

为了解决这个问题，您可以自动化 IE 以获得预期的结果。等待页面准备好就足够了，还需要等待运行AngularJs逻辑并下载所需内容，然后获取文档元素的内容：

$ie = new-object -ComObject "InternetExplorer.Application"
$url = "https://support.microsoft.com/en-us/help/4052574/cumulative-update-2-for-sql-server-2017"
$ie.silent = $true
$ie.navigate($url)
while($ie.Busy) { Start-Sleep -Milliseconds 100 }
Start-Sleep 10
$ie.Document.documentElement.innerHTML > "C:\Tempfiles\output.html"
$ie.Stop()
$ie.Quit()