使用命令行从 AWS S3 存储桶中获取数据

Question

aws s3api select-object-content     --bucket myaws-bucket10     --key
data.csv     --expression "select _1,_2 from s3object s GROUP BY _2
ORDER BY _2 DESC"     --expression-type 'SQL'    
--input-serialization '{"CSV": {}, "CompressionType": "NONE"}'     --output-serialization '{"CSV": {}}' "/tmp/output.csv"

我正在使用此命令从 data.csv 中获取第一列和第二列，并按第二列进行分组和排序。它给了我错误。

调用 SelectObjectContent 操作时发生错误 (ParseUnexpectedToken)：发现意外令牌 KEYWORD:order at line 1, column.

Answer 1

S3 Select 支持有限的 SQL 方言子集，ORDER BY 不是 supported S3 Select SQL operation。我认为这是因为 S3 select 通过一次读取一行数据并将其流式传输到响应来工作，而ORDER BY 将要求 S3 将文件的全部内容读入内存并在返回任何内容之前对其进行排序。