在 Apache Flink 中解析来自 Kafka 的数据答案

【问题标题】：Parsing data from Kafka in Apache Flink在 Apache Flink 中解析来自 Kafka 的数据
【发布时间】：2016-05-17 21:53:42
【问题描述】：

我刚刚开始使用 Apache Flink (Scala API)，我的问题如下：我正在尝试根据 Flink 站点的一个示例将数据从 Kafka 流式传输到 Apache Flink：

val stream =
  env.addSource(new FlinkKafkaConsumer09("testing", new SimpleStringSchema() , properties))

一切正常，stream.print() 语句在屏幕上显示以下内容：

2018-05-16 10:22:44 AM|1|11|-71.16|40.27

我想使用案例类来加载数据，我尝试过使用

flatMap(p=>p.split("|"))

但它一次只拆分一个字符。

基本上预期的结果是能够填充case类的5个字段如下

  field(0)=2018-05-16 10:22:44 AM
  field(1)=1
  field(2)=11
  field(3)=-71.16 
  field(4)=40.27

但它现在正在做：

   field(0) = 2
   field(1) = 0
   field(3) = 1
   field(4) = 8

等等……

任何建议将不胜感激。

提前谢谢你

弗兰克

【问题讨论】：

“一次拆分数据一个字符”是什么意思。也许你可以举一个预期输出和实际输出的例子。
感谢您的留言，我已经编辑了我的帖子。

标签： apache-flink flink-streaming

【解决方案1】：

问题在于String.split 的使用。如果您使用String 调用它，则该方法期望它是一个正则表达式。因此，p.split("\\|") 将是您输入数据的正确正则表达式。或者，您也可以调用split 变体，在其中指定分隔符p.split('|')。两种解决方案都应该给你想要的结果。

【讨论】：

非常感谢，非常感谢您对新手的帮助。