【问题标题】:Creating CEP with Apache Flink使用 Apache Flink 创建 CEP
【发布时间】:2019-02-18 09:08:03
【问题描述】:

我正在尝试为 Kafka InputStream 实现一个非常简单的 Apache Flink CEP。 Kafka Producer 生成一个简单的 Double Value,并通过 Kafka Topic 将它们作为字符串发送给消费者。目前我正在用 Flink 编写一个 CEP 消费者。 到目前为止,这是我编写的代码:

public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.getConfig().disableSysoutLogging();
        env.getConfig().setRestartStrategy(RestartStrategies.fixedDelayRestart(4, 10000)); 
        env.setParallelism(3);
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "localhost:9092");
        properties.setProperty("group.id", "flink_consumer");

        DataStream<String> stream = env
                .addSource(new FlinkKafkaConsumer09<>("temp", new SimpleStringSchema(), properties));

        Pattern<String, ?> warning= Pattern.<String>begin("first")
                .where(new IterativeCondition<String>() {
                    private static final long serialVersionUID = 1L;
                    @Override
                    public boolean filter(String value, Context<String> ctx) throws Exception {
                        return Double.parseDouble(value) >= 89.0;
                    }
                })
                .next("second")
                .where(new IterativeCondition<String>() {
                    private static final long serialVersionUID = 1L;
                    @Override
                    public boolean filter(String value, Context<String> ctx) throws Exception {
                        return Double.parseDouble(value) >= 89.0;
                    }
                })
                .within(Time.seconds(10));  
        DataStream<String> temp = CEP.pattern(stream, warning).select(new PatternSelectFunction<String, String>() {
            private static final long serialVersionUID = 1L;

            @Override
            public String select(Map<String, List<String>> pattern) throws Exception {
                List warnung1 = pattern.get("first");
                String first = (String) warnung1.get(1);
                return first;
            }   

        });

        temp.print();
        env.execute();

    }

如果我尝试执行此代码,这是错误消息:

线程“main”中的异常 java.lang.NoSuchFieldError: NO_INDEX at org.apache.flink.cep.PatternStream.select(PatternStream.java:102) 在 CEPTest.main(CEPTest.java:50)

所以看起来我使用 CEP 模式生成的 DataStream 是错误的,但我不知道该方法有什么问题。每一个帮助都会很棒!

编辑:我尝试了其他一些示例,并且在每次执行时都会遇到相同的错误。所以我认为我的包裹有问题?

【问题讨论】:

  • 确保所有 flink 组件使用相同的版本。看起来您在一些旧版本的 flink 集群之上使用了新版本的 flink-cep 模块。
  • 另外,如果您打算使用列表的第一个元素,请使用 warnung1.get(0)。
  • @DawidWysakowicz 所以我使用 Flink 1.12 版和 Flink-CEP 连接器 2.11 - 你认为这是问题吗?如何更新我的 Flink?问题是,我使用了网络上现有的 Flink 项目,因为我很难设置/执行教程 ci.apache.org/projects/flink/flink-docs-stable/quickstart/… 中的文件
  • 好的,我制作了一个新的 Flink Projekt,我的代码运行完美。感谢您的帮助!

标签: apache-kafka apache-flink flink-streaming flink-cep


【解决方案1】:

使用 Flink 1.6.0,我的代码可以完美运行。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-08-19
    • 1970-01-01
    • 1970-01-01
    • 2021-07-06
    • 2016-12-10
    相关资源
    最近更新 更多