【问题标题】:why flink stops my stream application?为什么 flink 会停止我的流应用程序?
【发布时间】:2016-06-11 00:09:46
【问题描述】:

我的代码使用 readTextFile 来读取日志文件,当我在 Flink (/opt/flink-1.0.3/bin/flink run -m yarn-cluster -yn 2 /home/flink/flink-json-0.1.jar) 中运行 jar 时,它会成功处理内部的行并停止我的应用程序,而不是等待新行。 我需要一些参数吗?

val env = StreamExecutionEnvironment.getExecutionEnvironment
val stream = env.readTextFile("hdfs:///test/ignicion.io")

提前谢谢你

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    你正在寻找

    StreamExecutionEnvironment.readFileStream(String filePath, long intervalMillis, WatchType watchType) 
    

    对于 WatchType,您有以下选项

    • ONLY_NEW_FILES,
    • REPROCESS_WITH_APPENDED,
    • PROCESS_ONLY_APPENDED;

    来自

    的流
    StreamExecutionEnvironment.readTextFile(String filePath, String charsetName)
    

    将在读取所有文件后完成。我认为,它主要用于开发过程中的本地测试。

    【讨论】:

    • 相同结果:env.readFileStream("hdfs:///test/ignicion.io",100,FileMonitoringFunction.WatchType.PROCESS_ONLY_APPENDED)
    • 你的意思是它也会立即停止吗?
    猜你喜欢
    • 2021-03-21
    • 2013-10-17
    • 1970-01-01
    • 2021-07-01
    • 2017-12-04
    • 2021-08-14
    • 2014-03-02
    • 2011-11-13
    • 2012-07-21
    相关资源
    最近更新 更多