Amazon Redshift 错误：清单文件中不存在强制 url答案

【问题标题】：Amazon Redshift error: Mandatory url not present in manifest fileAmazon Redshift 错误：清单文件中不存在强制 url
【发布时间】：2017-12-30 22:33:02
【问题描述】：

我有以下清单文件

{
  "entries": [
    {
      "url": "s3://gcmregtokenvalidation/registrations_invalid_token/registration_master_2017-07-25T10:47:40.049+05:30.gz",
      "mandatory": true
    },
    {
      "url": "s3://gcmregtokenvalidation/registrations_invalid_token/registration_master_2017-07-25T10:47:59.441+05:30.gz",
      "mandatory": true
    },
    {
      "url": "s3://gcmregtokenvalidation/registrations_invalid_token/registration_master_2017-07-25T10:48:19.297+05:30.gz",
      "mandatory": true
    },
    {
      "url": "s3://gcmregtokenvalidation/registrations_invalid_token/registration_master_2017-07-25T10:48:40.277+05:30.gz",
      "mandatory": true
    }
  ]
}

和下面的复制命令

COPY registrations_invalid_token
FROM  's3://locationnew/redshiftloader-
manifest/registrations_invalid_token_25_07_2017_11:55:11.manifest' 
CREDENTIALS 'aws_access_key_id=XXX;aws_secret_access_key=XXX'
manifest gzip delimiter ',' dateformat 'auto'
FILLRECORD IGNOREBLANKLINES TRIMBLANKS TRUNCATECOLUMNS
MAXERROR 100000 region 'ap-south-1';

我遇到了以下异常

亚马逊无效操作：强制 url 不存在清单文件。详情：
----------------------------------------------------------- 错误：强制清单文件中不存在 url。代码：8001 上下文：
清单文件 location=s3://locationnew/redshiftloader-manifest/registrations_invalid_token_25_07_2017_11:55:11.manifest url=s3://gcmregtokenvalidation/registrations_invalid_token/registration_master_2017-07-25T10:47:40.049+05:30.gz 查询：1475619 位置：s3_utility.cpp:337 进程：
padbmaster [pid=32720]
-----------------------------------------------------------;

为什么会出现这样的错误？

【问题讨论】：

标签： amazon-web-services amazon-s3 amazon-redshift

【解决方案1】：

Using a Manifest to Specify Data Files 文档说：

可选的mandatory 标志指定如果找不到文件，COPY 是否应返回错误。 mandatory 的默认值为 false。不管任何强制设置，如果没有找到文件，COPY 将终止。

Mandatory url is not present in manifest file 错误措辞不当，但可能表示在 Amazon S3 上找不到指定的文件。 p>

您可以使用以下方法对其进行测试：

aws s3 ls s3://gcmregtokenvalidation/registrations_invalid_token/registration_master_2017-07-25T10:47:40.049+05:30.gz

另外，尝试将mandatory 设置为false 以查看错误是否消失。

【讨论】：