使用定义的模式以 avro 格式从 Spark 写入 Kafka？答案

【问题标题】：Write from Spark to Kafka in avro format using defined schema?使用定义的模式以 avro 格式从 Spark 写入 Kafka？
【发布时间】：2020-10-04 18:47:41
【问题描述】：

我有一个需要写入 Kafka 的数据框。

我定义了 avro 架构，类似于：

{
    "namespace": "my.name.space",
    "type": "record",
    "name": "MyClass",
    "fields": [
       {"name": "id", "type": "string"},
       {"name": "parameter1", "type": "string"},
       {"name": "parameter2", "type": "string"},
       ...
     ]
}

它会自动生成到 java bean。是这样的：

public class MyClass extends org.apache.avro.specific.SpecificRecordBase implements org.apache.avro.specific.SpecificRecord {
  String id;
  String parameter1;
  String parameter2;
  ...
}

我发现要以 avro 格式编写，只有 to_avro 方法需要一列。

所以我的问题是，有没有办法在这个定义的架构中强制以 Avro 格式写入 Kafka？

【问题讨论】：

我的理解是，只有使用 Confluent Schema Registry 才能做到这一点。
你解决了吗？

标签： apache-spark apache-kafka avro spark-avro

【解决方案1】：

您只能在使用 Confluent 时执行此操作。见https://aseigneurin.github.io/2018/08/02/kafka-tutorial-4-avro-and-schema-registry.html

【讨论】：

Spark 怎么可能做到这一点？还是您必须使用 foreachPartition 手动写入数据？
我从未尝试过，但是当我与同事交谈时，我感到很复杂。他告诉我，由于这些并发症，他们那里没有 Confluent。