【问题标题】:Write data to file using AWS kinesis-firehose使用 AWS kinesis-firehose 将数据写入文件
【发布时间】:2021-05-26 00:06:26
【问题描述】:

我有一个节点应用程序,它使用 firehose 流将数据写入 s3。我正在使用 putRecord 方法。对象已成功进入 s3 存储桶。 但是,我想将数据写入文件(.txt 格式)而不是对象。 是否有一些方法可以从流写入 s3 作为文本文件? 从 kinesis-firehose 更新 s3 对象。 有时,firehose 也会对一个记录进行多个条目。如果我在一分钟或更长时间后写,它会生成新记录。有没有办法确保每个条目都存储为新对象而不考虑间隔。

【问题讨论】:

    标签: amazon-web-services amazon-s3 amazon-kinesis amazon-kinesis-firehose


    【解决方案1】:

    Kinesis Firehose 不适合您的用例,因为它的最小缓冲间隔为 1 分钟。如果你想要单个对象,为什么不使用 S3 SDK?

    【讨论】:

      猜你喜欢
      • 2018-01-07
      • 1970-01-01
      • 2018-10-24
      • 2016-03-16
      • 2019-09-29
      • 2016-11-13
      • 2020-12-29
      • 1970-01-01
      相关资源
      最近更新 更多