在 AWS lambda 函数中从 s3 中分块读取 csv 文件

Question

我正在尝试实现步进函数或递归 aws lambda 函数我的基本想法是从 s3 读取具有范围字节的 csv 文件并处理记录，然后使用更新的开始和结束偏移量调用我的下一个 lambda 函数来读取下一个块问题是当我这样做时，csv文件有时会在两行之间拆分我在重建要读取的偏移时遇到困难有没有人有任何想法或指示如何解决这种情况

Answer 1

您如何读取一系列字节，xy，后退一步以找到最后一个换行符位置并将您的 y 值更改为该字节并丢弃之后的字节那。然后您的下一个范围请求从 y+1 开始。