如何使用无头（无gui）Selenium WebDriver下载文件

Question

我需要使用 Java 中的无头 Web 浏览器下载文件。我检查了HtmlUnit，在一些简单的情况下我可以下载文件，但是当Ajax初始化下载时我无法下载（实际上它更复杂，因为有两个请求，第一个下载第二个请求实际下载文件的URL从给定的 URL）。我已经用 Selenium 替换了 HtmlUnit。我已经检查了两个 WebDriver，HtmlUnitDriver 和 ChromeDriver。

• HtmlUnitDriver - 类似 HtmlUnit 的行为

• ChromeDriver - 我可以在可见模式下下载文件，但是当我打开无头模式时，不再下载文件

  ChromeOptions lChromeOptions = new ChromeOptions();
  HashMap<String, Object> lChromePrefs = new HashMap<String, Object>();
  lChromePrefs.put("profile.default_content_settings.popups", 0);
  lChromePrefs.put("download.default_directory", _PATH_TO_DOWNLOAD_DIR);
  lChromeOptions.setExperimentalOption("prefs", lChromePrefs);
  lChromeOptions.addArguments("--headless");
  
  return new ChromeDriver(lChromeOptions);
  

我知道出于安全原因，以无头模式下载文件已关闭，但必须有一些解决方法

---

我之前使用过 2.28 httpunit，几分钟前我开始使用 2.29，但 Ajax 功能似乎在某处停止。这是我点击后检索数据并期望文件数据的方式：_link.click().getWebResponse().getContentAsStream()

WebConnectionWrapper 是否显示网站上的所有请求/响应？你知道我怎样才能调试它以获得更好的洞察力吗？我看到单击链接后 Ajax 函数的第一部分被正确调用（此函数中有 2 个 http 请求）。在WebConnectionWrapper -> getResponse 中获取第一个响应后，我什至尝试创建我的自定义 http 请求以检索数据/文件，但它返回 404 错误，这表明第二个请求已以某种方式完成，但我在 @ 中也没有看到任何日志/调试信息987654323@也不是WebConnectionWrapper -> getResponse()

Answer 1

关于 HtmlUnit 你可以试试这个：

在 dom 元素上调用 click() 是同步调用。这意味着， this 在此调用的响应被检索和处理后返回。通常所有的 JS 库都在做一些异步魔法（比如出于各种（好的）原因使用 setTimeout(,10) 开始一些处理。你的代码会意识到这一点。

更好的方法是做这样的事情

Page page = _link.click();
webClient.waitForBackgroundJavaScript(1000);

有时 Ajax 请求会重定向到新内容。我们必须通过检查当前窗口内容来解决这个新问题

page = page.getEnclosingWindow().getEnclosedPage();

或许更好 在下载的情况下，（二进制）响应可能会在新窗口中打开

WebWindow tmpWebWindow = webClient.getCurrentWindow();
tmpWebWindow = tmpWebWindow.getTopWindow();
page = tmpWebWindow.getEnclosedPage();

这可能是您正在寻找的响应。

page.getWebResponse().getContentAsStream();

猜测您的 Web 应用程序发生了什么有点棘手。如果您愿意，可以通过私人邮件与我联系或在 HtmlUnit 用户邮件列表中讨论此问题。