如何在 Selenium 中的 HTML5 Canvas 上执行鼠标滚轮滚动？

Question

我正在开发一个 GWT 应用程序（类似于 Paint）。在此，我有一个 HTML5 画布，其中有一个功能是上下滚动鼠标滚轮将放大和缩小画布。

我进行了很多搜索，但没有找到解决此问题的解决方法。做了什么：

int PosX = 0;
int PosY = 10;
JavascriptExecutor executor = (JavascriptExecutor) getDriver();
String script = "document.getElementById('frontCanvas').scrollBy("
                                + PosX + "," + PosY + ")";
executor.executeScript(script); 

WebDriverWait wait = new WebDriverWait(getDriver(), 20);
wait.until(ExpectedConditions.javaScriptThrowsNoExceptions(script));

现在，上面的代码适用于另一个 Angular 应用程序，我在其中上下滚动一个 div 元素（它有一个滚动条），但它不适用于我的画布（它没有滚动条） GWT 应用程序。

我正在使用 Selenium 3.14.0 并在 Chrome 浏览器上运行此代码。 谁能建议可以做些什么来解决这个问题？

Answer 1

这将使用 JS 在当前页面中特定滚动

JavascriptExecutor executor = (JavascriptExecutor) getDriver();
executor.executeScript("window.scrollBy(" + start + "," + end + ")");

否则您可以滚动直到找到 WebElement 示例：

WebElement x;
JavascriptExecutor executor = (JavascriptExecutor) getDriver();
getJs().executeScript("arguments[0].scrollIntoView();", x);

谢谢，

Answer 2

HTML5 Canvas

HTML 元素用于通过 JavaScript 动态绘制图形。元素只是图形的容器。您必须使用 JavaScript 来实际绘制图形。 Canvas 有多种方法用于绘制路径、框、圆、文本和添加图像。

一般来说，对于scroll，鼠标滚轮上和下我们可以选择Actions类。但是根据Automated Testing of HTML5 Canvas Applications with Selenium WebDriver 看来，这个 API 并不那么可靠。在 Firefox 中，每个 mouse down、mouse up 或 mouse click 都出现在元素的中心。所以上面的代码产生一个mouse move事件到提供的（x,y），然后一个mouse move事件到画布的中心，然后一个@987654333 @、mouse up 和 click 都位于画布的中心。这对于按钮来说可能很好，但对于 Canvas 来说是行不通的，您希望能够在特定位置hover、click 等。在 Safari 中情况更糟，它只是产生一个异常，表明不支持鼠标移动事件。与此同时，Chrome 运行良好。

另类

一种解决方法是使用 JavascriptExecutor 接口手动调度使用 JavaScript 的合成鼠标事件。

从@FlorentB. 的answer 中取出一片叶子，滚动 鼠标滚轮 向上和向下 strong>，您可以通过脚本注入将 mouseover、mousemove 和 wheel 事件 发送到顶部元素，然后您可以使用以下解决方案：

• 代码块：

  package demo;
  
  import org.openqa.selenium.By;
  import org.openqa.selenium.JavascriptExecutor;
  import org.openqa.selenium.WebDriver;
  import org.openqa.selenium.WebDriverException;
  import org.openqa.selenium.WebElement;
  import org.openqa.selenium.chrome.ChromeDriver;
  import org.openqa.selenium.chrome.ChromeOptions;
  import org.openqa.selenium.support.ui.ExpectedConditions;
  import org.openqa.selenium.support.ui.WebDriverWait;
  
  public class Canvas {
  
      static WebDriver driver;
      public static void main(String[] args) {
  
          System.setProperty("webdriver.chrome.driver", "C:\\Utility\\BrowserDrivers\\chromedriver.exe");
          ChromeOptions options = new ChromeOptions();
          options.addArguments("start-maximized");
          options.addArguments("disable-infobars");
          options.addArguments("--disable-extensions");
          driver = new ChromeDriver(options);
          driver.get("https://www.google.co.uk/maps");
          WebElement elm = new WebDriverWait(driver, 20).until(ExpectedConditions.visibilityOfElementLocated(By.cssSelector("#scene > div.widget-scene > canvas")));
          // Mouse wheel UP or Zoom In 
          wheel_element(elm, -500, 0, 0);
          System.out.println("Mouse wheel UP or Zoom In through Wheel achieved !!!");
          // Mouse wheel DOWN or Zoom Out 
          wheel_element(elm, 120, 0, 0);
          System.out.println("Mouse wheel DOWN or Zoom Out through Wheel achieved !!!");
          System.out.println("Mouse Scroll through Wheel achieved !!!");
      }
  
      public static void wheel_element(WebElement element, int deltaY, int offsetX, int offsetY)
      {
          try{
                String script = "var element = arguments[0];"
                  +"var deltaY = arguments[1];"
                  +"var box = element.getBoundingClientRect();"
                  +"var clientX = box.left + (arguments[2] || box.width / 2);"
                  +"var clientY = box.top + (arguments[3] || box.height / 2);"
                  +"var target = element.ownerDocument.elementFromPoint(clientX, clientY);"
                  +"for (var e = target; e; e = e.parentElement) {"
                    +"if (e === element) {"
                  +"target.dispatchEvent(new MouseEvent('mouseover', {view: window, bubbles: true, cancelable: true, clientX: clientX, clientY: clientY}));"
                  +"target.dispatchEvent(new MouseEvent('mousemove', {view: window, bubbles: true, cancelable: true, clientX: clientX, clientY: clientY}));"
                  +"target.dispatchEvent(new WheelEvent('wheel',     {view: window, bubbles: true, cancelable: true, clientX: clientX, clientY: clientY, deltaY: deltaY}));"
                  +"return;"
                    +"}"
                  +"}";  
  
                WebElement parent = (WebElement) ((JavascriptExecutor) driver).executeScript("return arguments[0].parentNode;", element);
                ((JavascriptExecutor) driver).executeScript(script, parent, deltaY, offsetX, offsetY);
              }catch(WebDriverException e)
              {
              System.out.println("Exception caught in Catch block");
              }
      }
  
  }
  

• 控制台输出：

  Mouse wheel UP or Zoom In through Wheel achieved !!!
  Mouse wheel DOWN or Zoom Out through Wheel achieved !!!
  Mouse Scroll through Wheel achieved !!!
  

---

参考

您可以在以下位置找到一些相关的详细讨论：

• How to find the coordinates of the buttons on a canvas, and click on them after using Java and Selenium?