解决 Avro 架构问题

Question

有什么方法可以获取有关 avro 架构问题的有用信息？

我正在尝试做以下工作

{ "namespace": "format.data.something", "type": "record", "name": "data", "fields": [ { "name": "generator", "type": "string" }, { "name": "mapping", "type": { "name": "mappingItemSequence", "type": "array", "items": { "name": "item", "type": { "name": "mappingItem", "type": "record", "fields": [ { "name": "content", "type": "string" }, { "name": "tokenOutput", "type": { "name": "token", "type": "string" } }, { "name": "inputTokens", "type": { "name": "tokensSequence", "type": "array", "items": { "name": "tokenInput", "type": { "name": "token", "type": "string" } } } } ] } } } } ] }

我从 maven 收到一条非常神秘的消息：

Execution default of goal org.apache.avro:avro-maven-plugin:1.8.2:schema failed: No type: {"name":"item","type":{"name":"mappingItem","type":"record","fields":[{"name":"content","type":"string"},{"name":"tokenOutput","type":{"name":"token","type":"string"}},{"name":"inputTokens","type":{"name":"tokensSequence","type":"array","items":{"name":"tokenInput","type":{"name":"token","type":"string"}}}}]}}

我正在使用 apache avro 1.8.2，我正在尝试使用 maven 编译为 java。

非常感谢。

Answer 1

问题本质上是您在数组类型声明中添加了额外的信息。属性name 不需要作为数组定义类型的一部分（文档here）。

以下架构应该适合您

{
  "namespace": "format.data.something",
  "type": "record",
  "name": "data",
  "fields": [
    {
      "name": "generator",
      "type": "string"
    },
    {
      "name": "mapping",
      "type": {
        "type": "array",
        "items": {
            "name": "mappingItem",
            "type": "record",
            "fields": [
              {
                "name": "content",
                "type": "string"
              },
              {
                "name": "tokenOutput",
                "type": {
                  "name": "token",
                  "type": "string"
                }
              },
              {
                  "name": "tokensSequence",
                  "type": { "type":"array",  "items": "string"}

              }
            ]

        }
      }
    }
  ]
}