下沉 kafka 流时看不到消息，在 flink 1.2 中看不到打印消息

Question

我的目标是使用 kafka 读取 json 格式的字符串，对字符串进行过滤，然后将消息发送出去（仍然是 json 字符串格式）。

出于测试目的，我的输入字符串消息如下所示：

{"a":1,"b":2}

而我的实现代码是：

def main(args: Array[String]): Unit = {

// parse input arguments
val params = ParameterTool.fromArgs(args)

if (params.getNumberOfParameters < 4) {
  println("Missing parameters!\n"
    + "Usage: Kafka --input-topic <topic> --output-topic <topic> "
    + "--bootstrap.servers <kafka brokers> "
    + "--zookeeper.connect <zk quorum> --group.id <some id> [--prefix <prefix>]")
  return
}

val env = StreamExecutionEnvironment.getExecutionEnvironment
env.getConfig.disableSysoutLogging
env.getConfig.setRestartStrategy(RestartStrategies.fixedDelayRestart(4, 10000))
// create a checkpoint every 5 seconds
env.enableCheckpointing(5000)
// make parameters available in the web interface
env.getConfig.setGlobalJobParameters(params)

// create a Kafka streaming source consumer for Kafka 0.10.x
val kafkaConsumer = new FlinkKafkaConsumer010(
  params.getRequired("input-topic"),
  new JSONKeyValueDeserializationSchema(false),
  params.getProperties)

val messageStream = env.addSource(kafkaConsumer)

val filteredStream: DataStream[ObjectNode] = messageStream.filter(node => node.get("a").asText.equals("1")
                      && node.get("b").asText.equals("2"))

messageStream.print()
// Refer to: https://stackoverflow.com/documentation/apache-flink/9004/how-to-define-a-custom-deserialization-schema#t=201708080802319255857
filteredStream.addSink(new FlinkKafkaProducer010[ObjectNode](
  params.getRequired("output-topic"),
  new SerializationSchema[ObjectNode] {
    override def serialize(element: ObjectNode): Array[Byte] = element.toString.getBytes()
  }, params.getProperties
))

env.execute("Kafka 0.10 Example")
}

可以看出，我想将消息流打印到控制台并将过滤后的消息接收到 kafka。但是，我一个都看不到。

有趣的是，如果我将 KafkaConsumer 的模式从 JSONKeyValueDeserializationSchema 修改为 SimpleStringSchema，我可以看到 messageStream 打印到控制台。代码如下图：

 val kafkaConsumer = new FlinkKafkaConsumer010(
  params.getRequired("input-topic"),
  new SimpleStringSchema,
  params.getProperties)

val messageStream = env.addSource(kafkaConsumer)
messageStream.print()

这让我觉得如果我使用 JSONKeyValueDeserializationSchema，我的输入消息实际上是不被 Kafka 接受的。但这看起来很奇怪，和网上的文档有很大的不同(https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/connectors/kafka.html)

希望有人能帮帮我！

Answer 1

JSONKeyValueDeserializationSchema() 需要每个 kafka 消息的消息密钥，我假设在生成 JSON 消息并通过 kafka 主题发送时没有提供密钥。

因此，要解决此问题，请尝试使用 JSONDeserializationSchema()，它只需要消息并根据收到的消息创建对象节点。