【问题标题】:Python script to load data from AWS S3 to Redshift将数据从 AWS S3 加载到 Redshift 的 Python 脚本
【发布时间】:2018-09-17 22:29:19
【问题描述】:

有没有人致力于创建一个 python 脚本来将数据从 s3 加载到多个文件的 redshift 表中。我们如何在 AWS CLI 中实现它。感谢您的学习和投入。

【问题讨论】:

  • 只需在 python 脚本中包装一个 REDSHIFT COPY 命令即可

标签: python-2.7 amazon-web-services amazon-s3


【解决方案1】:

COPY command 是将数据从 Amazon S3 加载到 Amazon Redshift 的最佳方式。它可以将多个文件并行加载到一个表中。

使用任何 Python 库(例如 PostgreSQL + Python | Psycopg)连接到 Amazon Redshift,然后发出 COPY 命令。

AWS Command-Line Interface (CLI)有能力在 Redshift 上运行 COPY 命令,因为它需要发送到 数据库,而 AWS CLI 发出对 AWS 的命令。 (AWS CLI 可用于启动/终止 Redshift 集群,但不能连接到集群本身。)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-12-28
    • 1970-01-01
    • 2019-06-07
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多