用于将特定文件从 S3 复制到本地或 hdfs 的 AWS CLI 命令答案

【问题标题】：AWS CLI command to copy specific files from S3 to local or hdfs用于将特定文件从 S3 复制到本地或 hdfs 的 AWS CLI 命令
【发布时间】：2019-12-24 19:28:45
【问题描述】：

我正在尝试将一些文件的列表从我的 S3 存储桶复制到本地，或者我的 hdfs.My 存储桶有超过 220000 个对象，我只想将以 abc2018- 开头的文件复制到我的本地系统。 abc2018- 中的文件列表超过 20k。我只是拿了一个示例文件并尝试使用以下命令复制它，我成功了： s3cmd get "s3://bucketname/abc2018-01-02.txt" ~/

如果我想将所有带有 abc2018- 的文件复制到主文件夹，我没有选项。是否需要编写任何脚本或者可以通过 s3cmd 本身来实现？

【问题讨论】：

标签： amazon-s3 aws-cli

【解决方案1】：

您可以尝试使用 AWC Cli：

    aws s3 cp s3://bucketname/ ~/ --exclude "*" --include "abc2018-*" --recursive

这个命令只复制你想要的模式。享受吧！

【讨论】：