【问题标题】:RDS Postgres to Kinesis Data stream for real time load of data through AWS glueRDS Postgres 到 Kinesis 数据流,用于通过 AWS 胶水实时加载数据
【发布时间】:2021-04-23 10:53:16
【问题描述】:

要求是将数据从RDS POSTGRES实时加载到RDS oracle。

AWS Glue 是 ETL 工具。 AWS Glue 具有实时从 Kinesis 获取数据以进行流式传输的功能。

我正在努力将数据从 Postgres 带到 Kinesis。

有什么建议吗??

【问题讨论】:

    标签: postgresql amazon-web-services amazon-kinesis


    【解决方案1】:

    我使用此链接将数据推送到 kinesis--

    https://aws.amazon.com/blogs/database/stream-changes-from-amazon-rds-for-postgresql-using-amazon-kinesis-data-streams-and-aws-lambda/

    注意点-

    • 使用 Ec2。
    • 无需显式安装 wal2JSON ,它已经存在了。
    • 它以某种 JSON 结构生成数据。根据需要改成结构(目标数据库)
    • 我用的是胶水 2.0。

    如果有人遇到任何问题,请随时在此处发帖。会尽量回答。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-11-03
      • 2022-11-25
      • 2019-11-08
      相关资源
      最近更新 更多