需要框架来处理 Redshift 和 python 之间的交互答案

【问题标题】：Need Framework to handle Interactions between Redshift and python需要框架来处理 Redshift 和 python 之间的交互
【发布时间】：2016-01-15 23:06:37
【问题描述】：

我正在构建一个 python 应用程序，其中包含 Amazon Redshift 和本地 python 之间的大量交互（向 redshift 发送查询、向本地发送结果等......）。我的问题是：处理此类交互的最简洁方式是什么。

目前，感谢pandas.read_sql()，我正在使用sqlalchemy 直接在本地加载表。但我不确定这是否非常优化或安全。

通过Amazon S3，然后用boto带回文件，最后用pandas.read_csv()读取它们会更好吗？

最后，有没有更好的办法来处理这样的交互，也许不是用 Python 做所有事情？

【问题讨论】：

标签： python pandas amazon-s3 sqlalchemy amazon-redshift

【解决方案1】：

您可以查看 blaze 生态系统，寻找可能有用的想法和库：http://blaze.pydata.org

blaze 库本身让您可以编写类似于 pandas 的高级查询，然后将查询转换为 redshift（使用 SQLAlchemy）：http://blaze.readthedocs.org/en/latest/index.html

但这对于您的目的来说可能过于高级，您可能需要对行为进行更精确的控制 - 但无论您如何以及何时移动数据，它都可以让您保持代码相似。

odo 库可以独立使用，从 Redshift 复制到 S3 到本地文件并返回。这可以独立于 blaze 库使用：http://odo.readthedocs.org/en/latest/

【讨论】：