如何将 Avro 事件推送到 Memsql

Question

我正在使用 POC 来实施实时分析，我们有以下组件。

1. Confluent Kafka：从第三方服务以 Avro 格式获取事件（事件包含最多 40 个字段）。我们还使用 Kafka-Registry 来处理不同类型的事件格式。

我正在尝试使用 MemSQL 进行分析，为此我必须以特定格式将事件推送到 memsql 表。

我浏览过 memsql 网站、博客等，但大多数都建议使用 Spark memsql 连接器，您可以在其中转换我们从融合 Kafka 获得的数据。

我有几个问题。

1. 如果我使用简单的 Java/Go 应用程序代替 Spark。
2. Confluent Kafka 和 memsql 是否提供了任何实用程序

谢谢。

Answer 1

我推荐使用 MemSQL 管道。 https://docs.memsql.com/memsql-pipelines/v6.0/kafka-pipeline-quickstart/ 在当前版本的 MemSQL 中，您需要设置一个转换，它将是一个小的 golang 或 python 脚本，它读取 avro 并输出 TSV。关于如何做到这一点的说明在这里https://docs.memsql.com/memsql-pipelines/v6.0/transforms/，但 tldr 是，你需要一个脚本来做

while True: record_size = read_an_8_byte_int_from_stdin() avro_record = stdin.read(record_size) stdout.write(AvroToTSV(avro_record))

敬请期待 MemSQL 中的原生 Avro 支持。