【问题标题】:RabbitMQ into AWS Redshift using NodeJS使用 NodeJS 将 RabbitMQ 导入 AWS Redshift
【发布时间】:2015-05-06 14:36:41
【问题描述】:

我有一个 RabbitMQ 消费者正在侦听 RabbitMQ 中的队列并在 NodeJS 中接收事件数据。我想让消费者将每个数据事件发送到 AWS Redishit(可能使用他们的 JavaScript 开发工具包),但我找不到任何关于如何执行此操作的示例,也无法在 Amazon 的文档中找到对该过程的任何说明。

如何使用 AWS JavaScript 开发工具包将 NodeJS 中的数据发送到 Redshift?

谢谢, 画了

【问题讨论】:

  • 这取决于您想以这种方式摄取的数据量。是小(维度变化)还是大(事件)?无论如何,您使用 JDBC/ODBC 驱动程序通过 SQL(INSERT 或 COPY)将数据放入 Redshift。
  • 是的,我最终使用 PostgresSQL 库连接到 RedShift 并以这种方式执行插入。
  • 如果您有很多记录,COPY 会更好。
  • 这是一个持续的流而不是批量集,所以我认为 INSERT 是正确的选择。

标签: javascript node.js amazon-web-services rabbitmq amazon-redshift


【解决方案1】:

使用node-postgres 我能够打开一个到 Redshift 的连接池并从那里执行 INSERT 命令。快速、轻便 - 即使在相当大的负载下也是如此。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-05-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多