无需下载即可读取 s3 存储桶上的文件内容

Question

我对 aws 和 s3 很陌生，所以如果这看起来我没有尝试过任何东西，请原谅。我想遍历目录和文件，读取文件并从可公开访问的 s3 存储桶中检索特定行：s3://cgl-rnaseq-recompute-fixed/ 而无需下载。我希望能够对文件内容执行基本任务，例如grep/cat。

例如我应该能够从 s3 存储桶上的所有文件和文件夹中获取包含 MYCN 的行。

最有效的方法是什么？ R/Python 中是否有可以帮助遍历 s3 存储桶的包？

谢谢！

Answer 1

http://boto.readthedocs.io/en/latest/s3_tut.html

conn = boto.s3.connection.S3Connection(
        aws_access_key_id='xxx',
        aws_secret_access_key='yyy'
)
for key in conn.list(prefix='logs/*.log'):
    print key