【问题标题】:Overwrite of Kafka Version in Spring Boot fails for some dependencies某些依赖项在 Spring Boot 中覆盖 Kafka 版本失败
【发布时间】:2022-01-29 04:46:13
【问题描述】:

我有一个全新的 Spring Boot 2.6.3 Java 11 应用程序,带有 Spring Kafka 依赖项(使用 start.spring.io 生成)。

默认使用 Kafka 3.0.0。我想将Kafka版本更改为3.1.0并添加

<kafka.version>3.1.0</kafka.version>

到属性部分。大多数 Kafka 库现在在 3.1.0 版本中被解析,但不是全部(最重要的是,测试范围内的依赖项没有正确解析):

$ mvn dependency:resolve | grep kafka
[INFO] -------------------< com.example:spring-kafka-demo >--------------------
[INFO] Building spring-kafka-demo 0.0.1-SNAPSHOT
[INFO] --- maven-dependency-plugin:3.2.0:resolve (default-cli) @ spring-kafka-demo ---
[INFO] Can't extract module name from kafka_2.13-3.1.0.jar: kafka.2.13: Invalid module name: '2' is not a Java identifier
[INFO] Can't extract module name from kafka_2.13-3.0.0-test.jar: kafka.2.13: Invalid module name: '2' is not a Java identifier
[INFO]    org.springframework.kafka:spring-kafka:jar:2.8.2:compile -- module spring.kafka [auto]
[INFO]    org.apache.kafka:kafka-clients:jar:3.1.0:compile -- module kafka.clients (auto)
[INFO]    org.springframework.kafka:spring-kafka-test:jar:2.8.2:test -- module spring.kafka.test [auto]
[INFO]    org.apache.kafka:kafka-clients:jar:test:3.0.0:test -- module kafka.clients (auto)
[INFO]    org.apache.kafka:kafka-metadata:jar:3.1.0:test -- module kafka.metadata (auto)
[INFO]    org.apache.kafka:kafka-server-common:jar:3.1.0:test -- module kafka.server.common (auto)
[INFO]    org.apache.kafka:kafka-raft:jar:3.1.0:test -- module kafka.raft (auto)
[INFO]    org.apache.kafka:kafka-streams-test-utils:jar:3.1.0:test -- module kafka.streams.test.utils (auto)
[INFO]    org.apache.kafka:kafka-streams:jar:3.1.0:test -- module kafka.streams (auto)
[INFO]    org.apache.kafka:kafka_2.13:jar:3.1.0:test
[INFO]    org.apache.kafka:kafka-storage:jar:3.1.0:test -- module kafka.storage (auto)
[INFO]    org.apache.kafka:kafka-storage-api:jar:3.1.0:test -- module kafka.storage.api (auto)
[INFO]    org.apache.kafka:kafka_2.13:jar:test:3.0.0:test

开头的错误信息很有趣。它可能与此有关吗?是 Kafka 而不是 Spring Boot 问题?


这是 pom 文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.6.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>spring-kafka-demo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>spring-kafka-demo</name>
    <description>Demo project for Spring Boot</description>
    <properties>
        <java.version>11</java.version>
        <kafka.version>3.1.0</kafka.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

【问题讨论】:

  • 这不是错误。这只是一个提示,这些组件不能用作 Java 模块(基于命名!!)。这意味着这些组件至少没有自己定义的自动模块名称。所以你使用模块系统意味着你的代码中有module-info.java吗?
  • 抱歉误读了……请出示 pom 文件……?
  • @khmarbaise 完成。
  • 你真的应该等待 Spring 团队更新,3.0 客户端仍然可以与 3.1 代理一起工作,但似乎 kafka_...-test.jar 分类 jar 有不同的属性。

标签: spring-boot maven apache-kafka spring-kafka


【解决方案1】:

根据docs section on overriding dependencies

您可以手动添加它正在寻找的那个

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.13</artifactId>
        <classifier>test</classifier>
        <scope>test</scope>
        <version>${kafka.version}</version>
    </dependency>

【讨论】:

  • 并不是找不到依赖项-它带有 spring-kafka-test ,但版本错误。问题是,为什么覆盖版本属性对这些依赖项不起作用。但是在 Artem 提供的链接中,似乎证明这不起作用(可惜)。所以谢谢你的链接。我想我将不得不采用这种解决方法。
  • 请将docs.spring.io/spring-kafka/docs/2.8.2/reference/html/… 的链接放入您的答案及其提供的解决方法中。那我很高兴接受你的回答。
  • 查看这里了解更多背景信息,为什么只有一个属性是不够的:github.com/spring-projects/spring-boot/issues/29023。这个答案是正确的:我们的 cmets 只是改进了它。我看不出劫持的理由。
  • 添加到最后,原来更新到 Kafka 3.1.0 并不是那么简单。 Spring Kafka 也必须更新到即将发布的 2.8.3 版本。请参阅 spring-kafka 问题#2091。所以我必须按照发布的链接中提到的那样降级 Kafka。
猜你喜欢
  • 2017-01-29
  • 1970-01-01
  • 2020-06-06
  • 1970-01-01
  • 2020-03-06
  • 2015-09-20
  • 2021-11-26
  • 1970-01-01
相关资源
最近更新 更多