当系统的 WebView 是 Chrome 或 Android 系统 WebView（均为 84 版）时，无法在基于 WebView 的应用程序上获取 uiautomator 转储

Question

我正在从运行uiautomator dump 命令的不同应用程序中获取 xml 转储文件，这些应用程序在我构建的应用程序的服务中运行，该应用程序位于有根手机中。当 Chrome 或 Android 系统 WebView 设置为版本不同于 84 的 WebView 实现时，一切正常。当版本为 84 时，仅在 WebView 应用程序中，我无法获取视图，xml 仅显示有 WebView 但没有t 显示它的子元素。

我对 Appium 进行了同样的尝试（仅出于测试目的，以防我遗漏了某些内容，因为我需要在我的应用程序中获取 xml 而无需插入电脑），并且行为是相同的（就我知道，Appium 也使用 uiautomator 转储视图）。

我已经在带有 Chrome 81.0.4044.138 的 Android 8 和带有 Android System WebView 77.0.3865.92 的 Android 9 中尝试过，并且工作正常。当我将 Android 9 手机 Android System WebView 更新到最新版本 (84.0.4147.125) 时，无法从 WebView 应用程序中获取元素，也无法使用 Chrome，只能获取 WebView 元素。

我想知道的是，如果最后一个 Android WebView 版本（Chrome 和 Android 系统，版本 84）有一些我缺少的新东西，那不会让 uiautomator 从基于 WebView 的正确转储 xml 文件应用。也许如果我必须做其他事情，或者这是一个错误。谢谢！

Answer 1

我发现了一种更快且非 root 的获取视图层次结构的方法，该方法在大多数 Chrome 版本（基于 webview 的应用程序）中也可以正常工作，即使在 Chrome 80+ 中也是如此，并且它使用的是 AccesibilityService。

所以，我首先创建了一个扩展 AccessibilityService 的服务：

public class BasicAccessibilityService extends AccessibilityService {

    private static BasicAccessibilityService instance;

    public static BasicAccessibilityService getInstance(){
        return instance;
    }

   
    @Override
    protected void onServiceConnected() {
        instance = this;
        super.onServiceConnected();
    }

    @Override
    public int onStartCommand(Intent intent, int flags, int startId) {
        return super.onStartCommand(intent, flags, startId);
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
    }

    @Override
    public void onInterrupt() {
    }

    @Override
    public void onDestroy() {
        super.onDestroy();
    }

    @Override
    public void onCreate() {
        super.onCreate();
    }

    @Override
    public AccessibilityNodeInfo getRootInActiveWindow() {
        try {
            return super.getRootInActiveWindow();
        } catch (Throwable ignored) {
            returenter code heren null;
        }
    }
}

在清单中：

<service
    android:name="BasicAccessibilityService"
    android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
    <intent-filter>
        <action android:name="android.accessibilityservice.AccessibilityService" 
    />
    </intent-filter>
        <meta-data
            android:name="android.accessibilityservice"
            android:resource="@xml/service_config" />
</service>

在 service_config.xml 中：

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service
    xmlns:android="http://schemas.android.com/apk/res/android"
    android:description="@string/accessibility_service_description"
    android:accessibilityEventTypes="typeAllMask"
    android:accessibilityFlags="flagReportViewIds|flagDefault|flagRequestFilterKeyEvents|flagRetrieveInteractiveWindows|flagEnableAccessibilityVolume"
    android:canRetrieveWindowContent="true"
    android:canRequestTouchExplorationMode="true"
    android:accessibilityFeedbackType="feedbackGeneric"
    android:canPerformGestures="true"
    android:canRequestFilterKeyEvents="true"
    android:notificationTimeout="0"
    />

现在 Accessibility Service 已经设置好了，只要我们想要获取视图层次结构，就可以调用它。请记住，要使其正常工作，应用程序必须授予访问权限。当授予权限时，onServiceConnected 方法会被自动调用，所以我们可以从它的实例中调用我们的服务并获取如下视图：

BasicAccessibilityService.getInstance().getRootInActiveWindow()

这将返回一个包含当前视图信息的AccessibilityNodeInfo。

如果您需要将视图层次结构作为 XML 获取，可以使用 uiautomator 源代码中的 AccessibilityNodeInfoDumper 类，可以在此处找到：

https://android.googlesource.com/platform/frameworks/uiautomator/+/5fe6e7f321f02b08224fad72374ed041f459b411/core/com/android/uiautomator/core/AccessibilityNodeInfoDumper.java

您还必须将AccessibilityNodeInfoHelper 添加到您的代码中：

https://android.googlesource.com/platform/frameworks/uiautomator/+/5fe6e7f321f02b08224fad72374ed041f459b411/core/com/android/uiautomator/core/AccessibilityNodeInfoHelper.java

当我实现上述代码以将 AccessibilityNodeInfo 解析为 XML 时，我遇到了几乎与之前使用 uiautomator dump 获取视图时相同的问题。我发现问题出在AccessibilityNodeInfoDumper 类中dumpNodeRec 中的isVisibleToUser 方法中。

出于某种原因，对于某些应用程序，isVisibleToUser 方法会返回 false，而这些视图在基于 webview 的应用程序中可见，并且此行为会根据 Chrome 或系统 Web 视图版本而改变。因此，一种可能的解决方案是不使用该方法并获取所有视图，即使是那些“不可见”的视图，或者另一种选择是制作自己的方法来确定某些视图是否可见。

对我来说，评论使用isVisibleToUser 方法的行就足够了。希望这对需要做类似事情的人有所帮助。