【问题标题】:What AWS technologies should I use in order to do light weight processing in real time before storing the data in Redshift?在将数据存储到 Redshift 之前,我应该使用哪些 AWS 技术来实时进行轻量级处理?
【发布时间】:2015-10-08 00:50:04
【问题描述】:

我想创建一些 HTTP 点,移动客户端、服务器和物联网设备将在其中发布数据。我可能需要对事件进行预处理并采取行动。最终我想访问所有原始数据并使用 Domo、Cloud Business Intelligence | 进行查询Chartio 或 Tableau。

我需要了解以下架构的区别和优势:

  1. AWS API 管理 + Lambda + Redshift:我可以创建一个 HTTP 端点和一个 lambda 函数,用于解析数据、计算和存储在 Redshift 中
  2. Kinesis Firehose + Redshift(如何在此处通过 HTTP 流式传输数据?)
  3. S3 + Kinesis + Redshift(我可以使用将数据写入 S3 的 HTTP 端点)
  4. S3 + Kinesis Firehose + Redshift
  5. S3 + Lambda + Redshift

我觉得 3、4 和 5 会因为 S3 而产生冗余。 与使用 Kinesis 相比,执行 Lambda 函数会产生巨大的成本开销吗?

【问题讨论】:

    标签: amazon-web-services amazon-s3 amazon-redshift aws-lambda amazon-kinesis


    【解决方案1】:

    宽泛的问题,但我想说#1 是您提供的最佳选择。

    我个人会转而使用 DynamoDB 来接收来自 Lamba 的数据 - 然后我会直接从那里查询它,或者如果您的使用模式需要它作为 Redshift 的来源。

    【讨论】:

      【解决方案2】:

      下面呢?

      1. 如果要求不是实时的,那么直接写入 S3 会有所帮助,并且可以轻松地无限扩展。
      2. 在 S3 文件上配置事件处理程序,触发 Lambda 处理您的逻辑。
      3. 将其推送到 Kinesis 或 Redshift 以进行进一步处理。 Redshift 可以直接从 S3 以开放数据格式进行查询。

      【讨论】:

        猜你喜欢
        • 2011-03-12
        • 1970-01-01
        • 2011-01-11
        • 1970-01-01
        • 1970-01-01
        • 2017-04-03
        • 2011-11-19
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多