PhantomJS 传递 HTML 字符串并返回页面源

Question

对于 C# 中的网络爬虫项目，我尝试执行 Javascript 和 Ajax 来检索已爬取页面的完整页面源。

我正在使用需要有效 HttpWebResponse 对象的现有网络爬虫 (Abot)。因此我不能简单地使用driver.Navigate().GoToUrl() 方法来检索页面源。

爬虫下载页面源码，我想在源码里面执行已有的Javascript/Ajax。

在一个示例项目中，我尝试了以下操作但没有成功：

        WebClient wc = new WebClient();
        string content = wc.DownloadString("http://www.newegg.com/Product/Product.aspx?Item=N82E16834257697");
        string tmpPath = Path.Combine(Path.GetTempPath(), "temp.htm");
        File.WriteAllText(tmpPath, content);

        var driverService = PhantomJSDriverService.CreateDefaultService();            
        var driver = new PhantomJSDriver(driverService);
        driver.Navigate().GoToUrl(new Uri(tmpPath));
        string renderedContent = driver.PageSource;
        driver.Quit();

您需要以下 nuget 包来运行示例： https://www.nuget.org/packages/phantomjs.exe/ http://www.nuget.org/packages/selenium.webdriver

这里的问题是代码在GoToUrl() 处停止，并且程序终止需要几分钟甚至没有给我驱动程序.PageSource。

这样做会返回正确的 HTML：

driver.Navigate().GoToUrl("http://www.newegg.com/Product/Product.aspx?Item=N82E16834257697");
string renderedContent = driver.PageSource;

但我不想两次下载数据。爬虫（Abot）下载 HTML，我只想解析/渲染 javascript 和 ajax。

谢谢！

Answer 1

如果不运行它，我敢打赌你需要 file:/// 在 tmpPath 之前。那就是：

    WebClient wc = new WebClient();
    string content = wc.DownloadString("http://www.newegg.com/Product/Product.aspx?Item=N82E16834257697");
    string tmpPath = Path.Combine(Path.GetTempPath(), "temp.htm");
    File.WriteAllText(tmpPath, content);

    var driverService = PhantomJSDriverService.CreateDefaultService();            
    var driver = new PhantomJSDriver(driverService);
    driver.Navigate().GoToUrl(new Uri("file:///" + tmpPath));
    string renderedContent = driver.PageSource;
    driver.Quit();

Answer 2

您可能需要允许 PhantomJS 发出任意请求。当域/协议不匹配时，请求会被阻止，就像打开本地文件时一样。

var driverService = PhantomJSDriverService.CreateDefaultService();
driverService.LocalToRemoteUrlAccess = true;
driverService.WebSecurity = false; // may not be necessary
var driver = new PhantomJSDriver(driverService);

您可能需要将此与 Dave Bush 的解决方案结合起来：

driver.Navigate().GoToUrl(new Uri("file:///" + tmpPath));

某些资源的 URL 以 // 开头，这意味着当浏览器检索这些资源时会使用页面的协议。读取本地文件时，此协议为file://，在这种情况下，将找不到这些资源。必须将协议添加到本地文件才能下载所有这些资源。

File.WriteAllText(tmpPath, content.Replace('"//', '"http://'));

---

从您的output 可以看出您使用的是 PhantomJS 1.9.8。可能是newly introduced bug 负责这类事情。您应该使用 driverService.SslProcotol = 'tlsv1' 来使用 PhantomJS 1.9.7。

---

如果您对同一个域多次执行此操作，您还应该启用磁盘缓存。否则，每次尝试抓取资源时都会下载资源。这可以通过driverService.DiskCache = true;来完成