【问题标题】:AWS CLI S3 CP --recursive function works in console but not in .sh fileAWS CLI S3 CP --recursive 函数在控制台中有效,但在 .sh 文件中无效
【发布时间】:2021-01-01 01:01:51
【问题描述】:

我在.sh 文件中有以下行:

aws s3 cp s3://bucket/folder/ /home/ec2-user/ --recursive

当我在控制台中运行此行时,它运行良好并按预期完成。当我在 .sh 文件中运行这一行时,该行返回以下错误。

Unknown options: --recursive

这是我完整的.sh 脚本。

echo "Test"
aws s3 cp s3://bucket/folder/ /home/ec2-user/ --recursive
echo "Test"
python /home/ec2-user/Run.py

如果我手动添加 Run.py 文件(没有根据需要从 S3 复制它)并运行脚本,我会得到以下输出。

Test

Unknown options: --recursive
Test
Hello World

如果我从 Linux 环境中删除预计将由 S3 传输的文件并依赖 AWS S3 命令,我会得到以下输出:

Test

Unknown options: --recursive
Test
python: can't open file '/home/ec2-user/Run.py': [Errno 2] No such file or directory

请注意,可以在指定的 S3 位置内传输多个文件。从控制台运行 AWS 命令​​时,所有这些文件都会按预期传输。

我最初认为这是一个行尾错误,因为我正在从 Windows 复制 .sh 文件。我已确保我的行尾正常工作,并且我们通过脚本的其余部分按预期运行看到了这一点。因此,这个问题似乎与实际的 AWS 命令​​无关。如果我从通话中删除--recursive,它将成功传输单个文件。

关于为什么 --recursive 选项可以在控制台中工作但不能在 .sh 文件中工作的任何想法?

附言

$ aws --version
aws-cli/2.1.15 Python/3.7.3 Linux/4.14.209-160.339.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off

【问题讨论】:

    标签: linux amazon-web-services amazon-s3 amazon-ec2 aws-cli


    【解决方案1】:

    我认为这与选项的位置有关,或者您在某处有指向旧版本的 AWS CLI 路径,因为 后来添加了递归选项。对我来说,它在 shell 脚本和控制台中都可以使用。

    aws s3 cp --recursive  s3://bucket/folder/ /home/ec2-user/ 
    
    $ aws --version
    aws-cli/2.1.6 Python/3.7.4 Darwin/20.2.0 exe/x86_64 prompt/off
    

    尝试在 shell 脚本中打印版本。

    cp --recursive 方法列出源路径并将所有内容复制(覆盖)到目标路径。

    加上而不是递归使用sync.sync 递归地将新的和更新的文件从源目录复制到目标。如果文件夹包含一个或多个文件,则仅在目标中创建文件夹。

    aws s3 sync 3://bucket/folder/ /home/ec2-user/
    

    sync 方法首先列出源路径和目标路径,并仅复制差异(名称、大小等)。

    【讨论】:

    • 所以这项技术的工作原理是它消除了错误并且两种方法都在控制台内工作。但是,当在.sh 文件中应用任一方法时,仍然不会发生文件传输。它只是不再出错了。有什么想法吗?
    • 权限差异是什么?不是 IAM 角色而是 .sh
    • @JeremyThompson 我可以确认这不是权限问题,至少从我可以推断出的错误消息中。加上我假设凭据是从 ENV vars 中挑选出来的两种方式,因为我没有看到他正在使用配置文件或在某处对凭据进行硬编码。
    • 如果源没有变化,同步将不会像我上面描述的那样进行任何传输。尝试在 shell 脚本中打印 aws cli 版本,看看是否与您在此处共享的相同。
    • aws s3 cp --recursive --dryrun s33://bucket/folder/ /home/ec2-user/and aws s3 sync --recursive --dryrun s3://bucket/folder/ /home/ec2-user/ 看看它是否打印任何东西。
    猜你喜欢
    • 2011-03-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-05-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多