为什么字符串的 Avro 字段现在需要 avro.java.string 类型？答案

【问题标题】：Why does an Avro field that was string now require avro.java.string type?为什么字符串的 Avro 字段现在需要 avro.java.string 类型？
【发布时间】：2021-09-23 16:20:37
【问题描述】：

在 Avro IDL 中，我有一条消息记录定义如下：

record Message{

    MessageId id;
    array<string> dataField;
}

我在另一个带有空联合的记录中使用这条记录：

record Invoice{
    ...
    union {null,array<Message>} message;
}

我们有一个 Java Kafka 消费者（我们正在使用 Confluent 平台），它使用 avro-maven-plugin 版本 1.10.2，配置为 <stringType>String</stringType>

当我们拨打这样的电话时：

List<String> msgList = message.getDataField();
for (String msg : msgList) {...}

我们在第二行收到以下错误：class org.apache.avro.util.Utf8 cannot be cast to class java.lang.String

以前，Invoice 对象被定义为：

 record Invoice{
    ...
    array<Message> message;
}

我们没有收到此错误。我们发现在我们的架构文件中，从

 "name" : "dataField",
      "type" : {
        "type" : "array",
        "items" : "string"
      }

到

"name" : "dataField",
 "type" : {
   "type" : "array",
     "items" :{
        "type": "string",
        "avro.java.string" : "String"
   }
 }

纠正问题。

我不清楚为什么添加联合会导致这种行为变化。我应该使用avro.java.string 声明架构中的所有字符串吗？如果是，我该如何使用 Avro IDL 来做到这一点？

【问题讨论】：

我确实找到了似乎与此相关的an open Avro bug。
我创建了一个 ASF JIRA bug，与无法通过 Avro IDL 创建 avro.java.string 条目有关。

标签： java avro confluent-platform avro-tools

【解决方案1】：

目前，似乎有几种方法可以解决此问题，至少在使用 Confluent Platform 5.5.1 或更高版本时是这样。我正在考虑将问题出在 Avro 的 open defect 上。

第一个选项是更新 Avro Schema 文件，将"type":"string" 全局搜索替换为

"type": {
       "avro.java.string": "String",
       "type": "string"
    }

第一个选项需要在通过 Avro IDL 创建任何文件后完成，因为它不支持这种结构，这使得 IDL 在这种情况下不太有用。奇怪的是，这种方法似乎不会影响通过 REST 代理传入的记录，这些记录具有 "type":"string" 关联而没有额外的 avro.java.string 信息。他们似乎能够使用以任何一种方式定义的模式；我期待带有 avro.java.string 信息的更新架构会导致没有该详细信息的 REST 代理请求出现问题。

第二个选项是设置auto.register.schemas=false 和use.latest.version=true，尽管这可能会在将来导致兼容性方面的意外后果。

第三个选项是在 Avro Tools 的 Maven 配置中不使用 <stringType> 指令。这意味着围绕默认使用的CharacterSequence 进行大量编码，通常以.toString() 方法的形式。

【讨论】：