【问题标题】:If I don't care about insert speed, should I use S3 with Redshift?如果我不关心插入速度,我应该将 S3 与 Redshift 一起使用吗?
【发布时间】:2016-05-26 23:10:25
【问题描述】:

我有一堆数据想要存储并进行分析。基于定价和数据关系,Redshift 似乎是正确的选择。但是,我一直在文档和最佳实践中看到我应该使用 S3 并将我的数据大量复制到 Redshift 中的内容。假设我根本不关心插入速度,我只关心我为这些服务支付的金额。如果我使用 S3 和 Redshift,我基本上要付双倍的费用,而且我还有更多代码要编写。为什么(财务上)我不应该直接使用 JDBC 将我的数据插入 Redshift?

【问题讨论】:

    标签: amazon-s3 amazon-redshift


    【解决方案1】:

    我相信这个想法是直接将其加载到 Redshift 将比加载到 S3 花费更长的时间 + 让 RedShift 从 S3 中获取它。 所以你必须做的数学是:将它加载到 Redshift 需要多长时间?在加载过程中并且您没有对数据做任何事情时,您打算让 Redshift 运行多少(并为此付费)?
    如果上传到 S3 并在之后启动 Redshift,您需要支付多少费用?
    猜测(但记住这是一个猜测)如果你通过 S3,它会稍微便宜一些。
    基本上,您希望使用 S3 来加快上传速度 + 与 Redshift 成本相比,存储在 S3 中的成本是微不足道的,您还可以使用 S3 作为对数据进行其他类型处理的源。

    【讨论】:

    • “所以你要做的数学运算是:将它加载到 Redshift 需要多长时间?”为什么我必须知道这个?你知道这是计算成本的一个因素吗?如果是这样,你能提供一个来源吗?谢谢。
    • 要加载到 redshift,您需要让实例运行。那是 25 美分/小时和 6.8 美元/小时之间的任何地方。因为插入速度非常慢(根据docs.aws.amazon.com/redshift/latest/dg/r_INSERT_30.html),您需要为集群支付很多费用,直到所有数据都上传并且您可以使用它。因此,如果使用 S3,您将支付额外的存储空间(按存储量),如果不使用 S3,您将支付更多费用以在加载时保持 redshift 集群空闲。如果您的目标是最小化成本,Redshift 比 S3 贵得多。
    • “如果您的目标是最小化成本,Redshift 比 S3 贵得多。”你是说我可以只使用 S3 而不能使用 Redshift?我认为 S3 是一个密钥库。我很确定它没有我需要的排序键的概念。
    • 您可以在需要时上下旋转 Redshift 实例并从 S3 加载。那可能更便宜。不是正常的使用模式,但您似乎又对最小化成本感兴趣。
    猜你喜欢
    • 2011-07-07
    • 1970-01-01
    • 2011-06-01
    • 2015-07-12
    • 1970-01-01
    • 1970-01-01
    • 2010-12-26
    • 2015-12-21
    • 2015-03-13
    相关资源
    最近更新 更多