如何配置 kafka-connect-spooldir 以使用 json 数组？

Question

根据https://github.com/jcustenborder/kafka-connect-spooldir 的说明，我已将 kafka-connect-spooldir 配置为使用包含 JSON 对象的文件。这会使用包含一个或多个 JSON 对象的文件。现在我该如何配置它来使用包含 JSON 数组的文件呢？

这是我当前的键和值模式：

key.schema={"name": "com.example.users.UserKey", "type": "STRUCT", "isOptional": false, "fieldSchemas": {"id": {"type": "INT64", "isOptional": false }}}
value.schema={"name": "com.example.users.User", "type": "STRUCT", "isOptional": false, "fieldSchemas": {"id": {"type": "INT64", "isOptional": false}, "test": {"type": "STRING", "isOptional": true}}}

这是我的数据示例：

{
  "id": 10,
  "test": "Carla Howe"
}
{
  "id": 1,
  "test": "Gayle Becker"
}

这是我希望数据的样子：

[
  {
    "id": 10,
    "test": "Carla Howe"
  },
  {
    "id": 1,
    "test": "Gayle Becker"
  }
]

我尝试简单地将第一种类型从 STRUCT 更改为 ARRAY，但这会引发 NPE“valueSchema 不能为空”。

有人可以指出正确的方向，或者提供一个例子吗？

Answer 1

根据documentation，有一个 SchemaGenerator 工具可以运行以生成示例数据的架构。