【问题标题】:How do we use query configurations while using SQL client in Flink SQL?在 Flink SQL 中使用 SQL 客户端时,我们如何使用查询配置?
【发布时间】:2019-09-17 08:55:45
【问题描述】:

我们在 Flink SQL 中使用 SQL 客户端时如何使用查询配置?

与下面链接中提到的相同方式 https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/query_configuration.html

想使用空闲状态保留时间。

【问题讨论】:

    标签: apache-flink flink-streaming flink-sql retention


    【解决方案1】:

    Flink 的 SQL 客户端可以在启动时读取一个 YAML 配置文件,该文件可以包含空闲状态保留规范。例如,您可以通过

    启动客户端

    sql-client.sh embedded -e sql-client-config.yaml

    配置文件包含在哪里

    execution:
      planner: old                      # optional: either 'old' (default) or 'blink'
      type: streaming                   # required: execution mode either 'batch' or 'streaming'
      result-mode: table                # required: either 'table' or 'changelog'
      max-table-result-rows: 1000000    # optional: maximum number of maintained rows in
                                        #   'table' mode (1000000 by default, smaller 1 means unlimited)
      time-characteristic: event-time   # optional: 'processing-time' or 'event-time' (default)
      parallelism: 1                    # optional: Flink's parallelism (1 by default)
      periodic-watermarks-interval: 200 # optional: interval for periodic watermarks (200 ms by default)
      min-idle-state-retention: 0       # optional: table program's minimum idle state time
      max-idle-state-retention: 0       # optional: table program's maximum idle state time
    

    更多详情请见the docs

    【讨论】:

    • 感谢大卫快速回复。这个最小空闲状态保留,最大空闲状态保留是否适用于查询,例如 SELECT sourceKafka.* FROM sourceKafka INNER JOIN badips ON sourceKafka.source.ip=badips.ip WHERE sourceKafka.timestamp_received BETWEEN CURRENT_TIMESTAMP - INTERVAL ' 15 分钟和 CURRENT_TIMESTAMP;由于没有分组,我读到这些参数定义了键的状态保留多长时间
    • 对于这样的连接,每个流都将由 ip 键控,所以是的,这将是受状态保留策略约束的键控状态。但此外,您不必为此烦恼,因为通过时间窗口连接,Flink SQL 会自动清除已变得无关紧要的旧记录。
    • 时间窗口连接,Flink SQL 会自动清除已经变得无关紧要的旧记录 => 我也是这么想的……但是当我尝试上面的查询时,60+GB 的堆空间用完了.不知道为什么
    • 这可能是一个相当复杂的话题,不太适合堆栈溢出。建议您在用户邮件列表上寻求帮助。
    • 当然是大卫。谢谢
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-02-08
    • 1970-01-01
    • 1970-01-01
    • 2020-10-06
    • 2010-12-27
    • 1970-01-01
    相关资源
    最近更新 更多