【发布时间】:2019-02-18 09:08:03
【问题描述】:
我正在尝试为 Kafka InputStream 实现一个非常简单的 Apache Flink CEP。 Kafka Producer 生成一个简单的 Double Value,并通过 Kafka Topic 将它们作为字符串发送给消费者。目前我正在用 Flink 编写一个 CEP 消费者。 到目前为止,这是我编写的代码:
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.getConfig().disableSysoutLogging();
env.getConfig().setRestartStrategy(RestartStrategies.fixedDelayRestart(4, 10000));
env.setParallelism(3);
Properties properties = new Properties();
properties.setProperty("bootstrap.servers", "localhost:9092");
properties.setProperty("group.id", "flink_consumer");
DataStream<String> stream = env
.addSource(new FlinkKafkaConsumer09<>("temp", new SimpleStringSchema(), properties));
Pattern<String, ?> warning= Pattern.<String>begin("first")
.where(new IterativeCondition<String>() {
private static final long serialVersionUID = 1L;
@Override
public boolean filter(String value, Context<String> ctx) throws Exception {
return Double.parseDouble(value) >= 89.0;
}
})
.next("second")
.where(new IterativeCondition<String>() {
private static final long serialVersionUID = 1L;
@Override
public boolean filter(String value, Context<String> ctx) throws Exception {
return Double.parseDouble(value) >= 89.0;
}
})
.within(Time.seconds(10));
DataStream<String> temp = CEP.pattern(stream, warning).select(new PatternSelectFunction<String, String>() {
private static final long serialVersionUID = 1L;
@Override
public String select(Map<String, List<String>> pattern) throws Exception {
List warnung1 = pattern.get("first");
String first = (String) warnung1.get(1);
return first;
}
});
temp.print();
env.execute();
}
如果我尝试执行此代码,这是错误消息:
线程“main”中的异常 java.lang.NoSuchFieldError: NO_INDEX at org.apache.flink.cep.PatternStream.select(PatternStream.java:102) 在 CEPTest.main(CEPTest.java:50)
所以看起来我使用 CEP 模式生成的 DataStream 是错误的,但我不知道该方法有什么问题。每一个帮助都会很棒!
编辑:我尝试了其他一些示例,并且在每次执行时都会遇到相同的错误。所以我认为我的包裹有问题?
【问题讨论】:
-
确保所有 flink 组件使用相同的版本。看起来您在一些旧版本的 flink 集群之上使用了新版本的 flink-cep 模块。
-
另外,如果您打算使用列表的第一个元素,请使用 warnung1.get(0)。
-
@DawidWysakowicz 所以我使用 Flink 1.12 版和 Flink-CEP 连接器 2.11 - 你认为这是问题吗?如何更新我的 Flink?问题是,我使用了网络上现有的 Flink 项目,因为我很难设置/执行教程 ci.apache.org/projects/flink/flink-docs-stable/quickstart/… 中的文件
-
好的,我制作了一个新的 Flink Projekt,我的代码运行完美。感谢您的帮助!
标签: apache-kafka apache-flink flink-streaming flink-cep