如何摆脱 grpc api 中对 CallCredentials2 的调用

Question

我正在为一个将作业发送到 GCP 中的 dataproc 集群的类项目编写一些代码。我最近遇到了一个奇怪的错误，我很难理解它。错误如下：

Exception in thread "Thread-5" java.lang.NoClassDefFoundError: io/grpc/CallCredentials2
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:756)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
at com.google.api.gax.grpc.GrpcCallContext.withCredentials(GrpcCallContext.java:160)
at com.google.api.gax.grpc.GrpcCallContext.withCredentials(GrpcCallContext.java:67)
at com.google.api.gax.rpc.ClientContext.create(ClientContext.java:210)
at com.google.cloud.dataproc.v1.stub.GrpcJobControllerStub.create(GrpcJobControllerStub.java:130)
at com.google.cloud.dataproc.v1.stub.JobControllerStubSettings.createStub(JobControllerStubSettings.java:215)
at com.google.cloud.dataproc.v1.JobControllerClient.<init>(JobControllerClient.java:139)
at com.google.cloud.dataproc.v1.JobControllerClient.create(JobControllerClient.java:120)
at com.shayr.searchEngineGUI.searchEngineGUI.constructInvertedIndices(searchEngineGUI.java:509)
at com.shayr.searchEngineGUI.searchEngineGUI.access$0(searchEngineGUI.java:501)
at com.shayr.searchEngineGUI.searchEngineGUI$2.run(searchEngineGUI.java:474)
Caused by: java.lang.ClassNotFoundException: io.grpc.CallCredentials2
    at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
    ... 22 more

我的代码中触发此问题的行是：

JobControllerClient jobControllerClient = JobControllerClient.create(jobControllerSettings);

我最初尝试查找有关 CallCredentials2 的更多信息以找出导致问题的原因，但除了该类是对 CallCredentials 类进行更改并且 CallCredentials2 具有的临时解决方法之外，我找不到任何东西已经贬值了。

我对 google apis 的了解有些有限，所以我花了一段时间才弄清楚如何解决这个问题。我必须更改我的项目的依赖项之一，以便将“grpc-api-1.42.1.jar”更改为“grpc-api-1.41.0.jar”，因为 1.41 版本的 api 是实现的CallCredentials2 类。

所以我的项目现在按预期工作，但我仍然不确定为什么我的代码调用了一个折旧的类，如果可能的话，我宁愿避免这种情况。有谁知道为什么会这样？我正在使用最近更新的依赖项，所以我不确定为什么要调用折旧的类。以下是在将 grpc 版本更改为 1.41.0 之前在我的 pom.xml 文件中列出的依赖项：

<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-storage</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-datastore</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-dataproc</artifactId>
    <version>2.2.0</version>
</dependency>
<dependency>
    <groupId>com.google.api-client</groupId>
    <artifactId>google-api-client</artifactId>
    <version>1.32.2</version>
</dependency>

Answer 1

使用mvn dependency:tree，您会发现在您的依赖关系树中混合了 grpc-java 1.41.0 和 1.42.1 版本。 google-cloud-datastore:2.2.0 引入了 grpc-api:1.42.1 但其他依赖项引入了 grpc 版本 1.40.1。

grpc-java 建议始终使用来自 maven-enforcer 的 requireUpperBoundDeps 来捕获 Maven 静默降级依赖项。

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-enforcer-plugin</artifactId>
    <version>1.4.1</version>
    <executions>
      <execution>
        <id>enforce</id>
        <goals>
          <goal>enforce</goal>
        </goals>
        <configuration>
          <rules>
            <requireUpperBoundDeps/>
          </rules>
        </configuration>
      </execution>
    </executions>
  </plugin>

添加它会显示许多故障，可以通过在 google-cloud-datastore 之后订购 google-cloud-storage 来修复它们。但修复降级并不能解决您的问题。

让我们看看现在的版本（依赖重新排序）：

$ mvn dependency:tree
[INFO] +- com.google.cloud:google-cloud-datastore:jar:2.2.0:compile
[INFO] |  +- io.grpc:grpc-api:jar:1.42.1:compile
[INFO] |  +- io.grpc:grpc-context:jar:1.42.1:compile
...
[INFO] +- com.google.cloud:google-cloud-dataproc:jar:2.2.0:compile
[INFO] |  +- io.grpc:grpc-stub:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-protobuf:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-protobuf-lite:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-auth:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-netty-shaded:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-core:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-alts:jar:1.40.1:compile
[INFO] |  +- io.grpc:grpc-grpclb:jar:1.40.1:compile
...

这些版本仍然存在问题，因为 io.grpc:grpc-auth 1.40.1 完全需要 io.grpc:grpc-api 1.40.1，但我们使用的是 1.42.1。 Maven can detect such cases，但不可靠。

您可以通过重新排序依赖项并显式添加一些依赖项来强制升级来解决此问题，但这很乏味。 Google Cloud suggests using a BOM（也在datastore、storage 的文档中）选择一致的版本。 <dependencyManagement> 部分选择要使用的库版本，但实际上并不依赖于它们。使用 BOM 时，您无需明确指定 BOM 中的依赖项版本。

<dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>com.google.cloud</groupId>
      <artifactId>libraries-bom</artifactId>
      <version>24.0.0</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>
<dependencies>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-datastore</artifactId>
  </dependency>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-storage</artifactId>
  </dependency>
  <dependency>
    <groupId>com.google.cloud</groupId>
    <artifactId>google-cloud-dataproc</artifactId>
  </dependency>
  <dependency><!-- not part of the BOM -->
    <groupId>com.google.api-client</groupId>
    <artifactId>google-api-client</artifactId>
    <version>1.32.2</version>
  </dependency>
</dependencies>

现在我们可以看到一致的版本：

$ mvn dependency:tree
...
[INFO] +- com.google.cloud:google-cloud-datastore:jar:2.1.3:compile
[INFO] |  +- io.grpc:grpc-api:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-context:jar:1.41.0:compile
...
[INFO] +- com.google.cloud:google-cloud-dataproc:jar:2.2.2:compile
[INFO] |  +- io.grpc:grpc-stub:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-protobuf:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-protobuf-lite:jar:1.41.0:compile
[INFO] |  +- io.grpc:grpc-alts:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-grpclb:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-auth:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-netty-shaded:jar:1.41.0:runtime
[INFO] |  +- io.grpc:grpc-core:jar:1.41.0:runtime
...