BigQuery Transfer Service 不会从 S3 复制行答案

【问题标题】：BigQuery Transfer Service does not copy rows from S3BigQuery Transfer Service 不会从 S3 复制行
【发布时间】：2020-01-02 12:37:04
【问题描述】：

我创建了一个从 AWS S3 到 Google BigQuery 的 BigQuery 传输。它失败并出现以下错误，

找不到与“gs://bqdts-amazon_s3-prod-eu-w5jetqct8ohvcjih85apf7gvkbibvbkcj9o6l67/test/files”匹配的新文件

但是，数据已成功从 S3 移动到 Google Cloud

将数据从 Amazon S3 移动到 Google Cloud 完成：已移动 10 对象。

我还在 BigQuery 数据集中创建了一个表

请帮我解决这个问题

【问题讨论】：

标签： amazon-web-services amazon-s3 google-cloud-platform google-bigquery data-transfer

【解决方案1】：

我之前遇到过同样的问题，只有在我在 Amazon S3 URI 后添加“*”时才对我有效。

例子：

之前（显示与您相同的错误）： s3://mybucket/路径/

之后（工作成功）： s3://mybucket/path/*

在 Amazon S3 传输页面的 General issues 部分中，显示了这些推荐操作：

确认传输配置中的 Amazon S3 URI 正确。

如果传输配置旨在加载所有文件公共前缀，请确保 Amazon S3 URI 以通配符结尾。为了例如，要加载 s3://my-bucket/my-folder/ 中的所有文件，Amazon S3 传输配置中的 URI 必须是 s3://my-bucket/my-folder/*，不只是 s3://my-bucket/my-folder/。

【讨论】：

【解决方案2】：

我发现了类似的错误Amazon S3 transfers一般问题：

文件从 Amazon S3 传输，但未加载到 BigQuery。这传输日志可能看起来类似于：

将数据从 Amazon S3 移动到 Google Cloud 完成：已移动对象。没有找到匹配的新文件。

确认传输配置中的 Amazon S3 URI 是正确。

如果传输配置旨在加载所有文件公共前缀，请确保 Amazon S3 URI 以通配符结尾。为了例如，要加载 s3://my-bucket/my-folder/ 中的所有文件，Amazon S3 传输配置中的 URI 必须是 s3://my-bucket/my-folder/*，不只是 s3://my-bucket/my-folder/。

“gs://bqdts-amazon_s3-prod-eu-w5jetqct8ohvcjih85apf7gvkbibvbkcj9o6l67/test/files”应该是 Amazon S3 URI：s3://

【讨论】：