【问题标题】:Can we increase the Parallelism for Non-Keyed Windows by setParallelism?我们可以通过 setParallelism 增加非键控窗口的并行度吗?
【发布时间】:2017-06-04 11:16:24
【问题描述】:

从下面的文章中我们知道非键流的并行度为 1,那么我们可以通过 setParallelism 增加并行度吗? “在非键控流的情况下,您的原始流不会被拆分为多个逻辑流,并且所有窗口化逻辑都将由单个任务执行,即并行度为 1。”

https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/windows.html#keyed-vs-non-keyed-windows

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    一旦您尝试使用setParallelism 为 All Window 运算符中的流的运算符设置不同于 1 的值,就会引发异常。这个功能也暴露了,你可以使用forceNonParallel保证对应算子的并行度不会被覆盖。

    【讨论】:

    • forceNonParallel[2] 表示将Parallelism 设置为2?但是,从 Api 文档 desc 中“forceNonParallel 将将此运算符的并行度和最大并行度设置为 1”,而且似乎不能使用 Parallelism 参数 2 或其他数字来调用它。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-06-07
    • 1970-01-01
    • 1970-01-01
    • 2012-10-13
    相关资源
    最近更新 更多