【问题标题】:PyFlink unix epoch timestamp conversion issuePyFlink unix 纪元时间戳转换问题
【发布时间】:2021-11-23 07:06:00
【问题描述】:

我有带有 unix 纪元时间戳的事件,我正在使用带有 Kinesis 连接器的表作为源表。我需要使用与水印相同的时间戳字段。 我如何在python中做到这一点? 我正在使用 Flink-1.11 版本,因为那是最新的 AWS 支持。

事件格式:{'event_time': 1633098843692, 'ticker': 'AMZN'}

Python 表:

CREATE TABLE event_input_table (
            event_time TIMESTAMP,
            ticker VARCHAR,
            WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
          )
          WITH (
            'connector' = 'kinesis',
            'stream' = 'inputstream1',
            'aws.region' = 'us-east-1',
            'scan.stream.initpos' = 'TRIM_HORIZON',
            'format' = 'json' ,
            'aws.credentials.provider' = 'ENV_VAR' 
            )

【问题讨论】:

    标签: apache-flink pyflink aws-kinesis


    【解决方案1】:
     CREATE TABLE event_input_table (
                    event_time BIGINT,
                    ip_src VARCHAR,
                    ip_dst VARCHAR,
                    domain ARRAY<VARCHAR>,
                    new_time as TO_TIMESTAMP(FROM_UNIXTIME(event_time))
                  )
    

    【讨论】:

      猜你喜欢
      • 2018-08-03
      • 1970-01-01
      • 2013-01-08
      • 2021-07-09
      • 2016-01-21
      • 1970-01-01
      • 2023-03-27
      • 2017-04-02
      • 1970-01-01
      相关资源
      最近更新 更多