【发布时间】:2018-09-17 22:29:19
【问题描述】:
有没有人致力于创建一个 python 脚本来将数据从 s3 加载到多个文件的 redshift 表中。我们如何在 AWS CLI 中实现它。感谢您的学习和投入。
【问题讨论】:
-
只需在 python 脚本中包装一个 REDSHIFT COPY 命令即可
标签: python-2.7 amazon-web-services amazon-s3
有没有人致力于创建一个 python 脚本来将数据从 s3 加载到多个文件的 redshift 表中。我们如何在 AWS CLI 中实现它。感谢您的学习和投入。
【问题讨论】:
标签: python-2.7 amazon-web-services amazon-s3
COPY command 是将数据从 Amazon S3 加载到 Amazon Redshift 的最佳方式。它可以将多个文件并行加载到一个表中。
使用任何 Python 库(例如 PostgreSQL + Python | Psycopg)连接到 Amazon Redshift,然后发出 COPY 命令。
AWS Command-Line Interface (CLI)不有能力在 Redshift 上运行 COPY 命令,因为它需要发送到 数据库,而 AWS CLI 发出对 AWS 的命令。 (AWS CLI 可用于启动/终止 Redshift 集群,但不能连接到集群本身。)
【讨论】: