如何将 Hive（avro 表）与 Schema Registry 集成？

Question

Hive 提供了两个表属性允许定义 Avro 模式：avro.schema.literal 和 avro.schema.url，其中前者可以指定 hdfs 路径或服务于模式的 http 端点。我想使用 Schema Registry 作为我的架构服务，但问题是它的 endpoints 返回架构包装在一个更大的 json 对象中：

请求：

GET /schemas/ids/1

回复：

HTTP/1.1 200 OK
Content-Type: application/vnd.schemaregistry.v1+json

{
  "schema": "{\"type\": \"string\"}"
}

请求：

GET /subjects/test/versions/1

回复：

HTTP/1.1 200 OK
Content-Type: application/vnd.schemaregistry.v1+json

{
  "name": "test",
  "version": 1,
  "schema": "{\"type\": \"string\"}"
}

Hive 无法解析上述响应。

Answer 1

我希望做和你一样的事情。我登录https://github.com/confluentinc/schema-registry/issues/629 以增强模式注册表以使其变得容易。希望该项目能够接受这个想法。看起来它应该是一个简单的增强实现。

Answer 2

到目前为止，我的想法是在 Schema Registry 前面放置一个代理服务（服务纯 avro 模式）并使用 HAProxy 对其进行扩展。 Schema Registry 本身似乎有 scalable architecture 用于读取。老实说，我不明白AvroSerDe hive documentation中关于avro.schema.url属性的段落：

指定用于访问架构的 URL。对于 http 模式，这 适用于测试和小规模集群，但架构将是 从作业中的每个任务至少访问一次，这可以快速 将作业变成针对 URL 提供程序的 DDOS 攻击（网络 服务器，例如）。使用此参数时要小心 除了测试之外的任何东西。

我认为我的建议是一个可行的解决方案。

在集中式存储库中包含架构允许架构演变和检查向后/向前兼容性，因此它比定义 hdfs 路径更好，这是 AvroSerDe 文档中推荐的。