从 AWS S3 转移到 Google-Cloud-Storage “未知”失败

Question

我正在使用 GCS Web 仪表板/控制台中提供的传输工具来安排将备份文件从 S3 复制到 GCS。

在 GCS 传输日志中，它显示“未知：（显示 241 次失败中的 5 次）”。该故障列表中显示的文件没有什么不同。每次计划传输时，相同的 241 个文件都会失败。有没有什么地方可以得到实际的错误信息？

我已经检查过了：

• 在这些失败前后成功复制了超过 150 万个其他文件。即，这些失败不在传输列表的开头或结尾，也不是连续的。
• 文件大小不太大。失败传输的大小范围为 100KB 到 7MB。
• 文件名允许使用特殊字符，例如_ - 空格，这些字符出现在失败的传输和成功的传输中。
• 失败的文件与成功传输的文件具有完全相同的权限。
• 传输中使用的 IAM 用户策略将所有操作授予 S3 存储桶。
• 使用与 s3cmd 相同的访问令牌和密钥确认 IAM 策略。
• 已检查 S3 访问日志以获取更多信息/错误...显示成功传输和失败传输的 http 206 状态。 （不是我预期的 http 状态，但成功和失败的传输都会出现相同的状态）

Answer 1

有几件事会导致 UNKNOWN 错误。有些是服务中的暂时性问题（在这种情况下，您应该重新运行传输 - 只有新的/更改的对象才会被第二次复制）。

在其他情况下，它可能是源对象中的怪癖。例如，服务将拒绝不具有符合 RFC 1341 的 Content-Type 的对象。特别是，它需要匹配 / 模式，并带有额外的限制。见What are all the possible values for HTTP "Content-Type" header?