使用 Amazon Redshift 进行本地开发和暂存答案

【问题标题】：Local development and staging with Amazon Redshift使用 Amazon Redshift 进行本地开发和暂存
【发布时间】：2015-03-23 15:41:06
【问题描述】：

我喜欢设置具有生产、登台和本地开发的工具和服务。我想使用 Amazon Redshift，对于列式存储数据库来说，每月 180 美元的起价似乎相当合理，但我真的必须将其视为 180 美元 x 环境数/月吗？有没有办法为 Redshift 提供一个免费的 staging 和本地环境？

能够针对本地实例进行开发而不是依赖网络也很好。我认为 Redshift 不可能做到这一点。

在使用 Redshift 时，您如何使本地开发更轻松、更快、更便宜？

【问题讨论】：

【解决方案1】：

Amazon Redshift 专为在 AWS 基础设施上运行而创建。它不可下载。（有趣的是，Amazon DynamoDB 确实有用于开发目的的可下载版本。）

最便宜的选择可能是每晚和周末关闭您的开发和测试实例。删除集群前先拍快照，第二天早上根据快照创建集群。这可以通过 AWS 命令行界面 (CLI) 自动执行，从而可以轻松地使用 cron 或计划任务进行计划。

您还可以拥有测试数据的快照，并在每天早上恢复该快照，这意味着测试数据库不会被测试用例填满。

另一个成本节约可能是减少非生产系统的节点数量。查询运行速度会变慢，存储总量会减少，但它可能更具成本效益。或者甚至使用“密集存储”2TB 节点而不是多个“密集计算”SSD 实例——它们将在更少的节点上提供更多的存储。

【讨论】：

需要注意的一点是，虽然这很好，但如果我不想或无法连接到 AWS 进行开发，它对我没有帮助。对于大多数大型服务（SQS、Dynamo、S3 等），我有一个本地开发类似物。

【解决方案2】：

除了 John Rotenstiens 阐述了如果您决定运行第二个集群进行暂存时如何降低成本，还有一些其他选项，用于当您的用例不是关键任务时。

由于 Redshift 是 postgres 8 的一个分支，您可以使用 Amazon 提供的 postgresql 8.4 JDBC 或 ODBC 驱动程序，并将它们指向本地运行的 postgres 8 实例。这在开发过程中很有效，因为这里有效的方法通常适用于您的生产系统（有一些例外）。

另一种选择是在您的 Redshift 集群上拥有一个单独的表来运行非生产活动。这可能对您的测试套件和“最终测试”开发有好处。

然后，您可以将您的部署暂存到生产环境中，并在完全部署之前监控暂存环境是否存在问题。

【讨论】：

【解决方案3】：

另一个削减成本的解决方案是将每个数据库视为单个集群中的一个环境。数据库不花钱，你可以60 of them in a cluster

我们已经尝试过 Postgres-as-emulator 解决方案，还不错，但是

我们暂时放弃了这一点，但随着我们变得越来越大，我们可能不得不使用混合解决方案，其中验收测试和登台是 Redshift 中的数据库，而开发人员则重新使用 Postgres。

【讨论】：

【解决方案4】：

这是本地离线访问所有 AWS 服务的最佳选择，无需支付云服务费用。本地堆栈！

支持所有主要的 AWS 服务，如 Redshift、S3、DynamoDB、cloudwatch 等。

您可以将其用于所有非生产环境，并且只需为生产 AWS 服务付费

【讨论】：

不幸的是，redshift 服务只模拟了 redshift 管理端点（创建集群等），而不是实际的查询引擎。所以你仍然被困在本地使用 postgres（以及这样做的所有缺点）