【问题标题】:Fllink Web UI not displaying records received in a Custom Source implementationFllink Web UI 不显示在自定义源实现中收到的记录
【发布时间】:2016-01-08 16:49:46
【问题描述】:

我已经构建了一个自定义源来处理 Flink 中的日志流。 程序运行良好,在处理记录后给了我想要的结果。

但是,当我检查 Web UI 时,我看不到计数。下面是截图: Records/Bytes Count

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    Flink 将管道中的所有运算符链接到一个运算符中:Source -> FlatMap -> ProcessLog -> Sink。因此,这个单一的算子包含源和汇。此外,Flink 既不能测量 source 读取的字节数,也不能测量 sink 写入的字节数。它只能测量算子之间发送的字节数。由于源和接收器在同一个算子中执行,因此 Web UI 不会显示任何发送/接收的字节数。

    【讨论】:

    • 使用源和接收器之间的重新平衡,作业被拆分为两个操作符,如果您想查看指标作为解决方案,但这没有任何意义(从编程上讲)。您可以在任务指标中添加其他指标,这对这种情况很有用。
    猜你喜欢
    • 1970-01-01
    • 2018-11-02
    • 1970-01-01
    • 1970-01-01
    • 2019-09-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-02-08
    相关资源
    最近更新 更多