【发布时间】：2019-01-14 22:26:24
【问题描述】：
我在排除前缀为“LOAD*”的文件从亚马逊 s3 同步到谷歌云存储时遇到问题，我也希望将它们排除在数据完整性检查之外。
我已经尝试了 gsutils rsync 帮助中提到的 -x 方法，但文件没有被排除，它仍在检查我想要排除的文件。
用例：
- 有几个名为 LOAD*.csv(GB) 的大文件不会更改，并且 我希望他们被排除在外。
- 有一些小文件（kb）将被添加到桶中 我想从 s3 同步到谷歌云存储的分钟。
- 我只希望作业同步在 目标存储分区。
有什么方法可以实现吗？
命令：
gsutil -m rsync -Cnr -x "dirX/dirY/.*/LOAD*$" s3://bucket-A gs://bucket-B
输出：
Building synchronization state...
At destination listing 10000...
At destination listing 20000...
At destination listing 30000...
At destination listing 40000...
At destination listing 50000...
At destination listing 60000...
At destination listing 70000...
At destination listing 80000...
Non-MD5 etag ("1f46bed70ce51ad32c271f423463c1f8-2") present for key <Key: bucket-A,dirX/dirY/dir1/LOAD00000001.csv>, data integrity checks are not possible.
At destination listing 90000...
At destination listing 100000...
At destination listing 110000...
At destination listing 120000...
At destination listing 130000...
At destination listing 140000...
At destination listing 150000...
At destination listing 160000...
At destination listing 170000...
Non-MD5 etag ("46a7c3d9e894d6e6a6437a97b49815a5-31") present for key <Key: faasos-etl,bucket-A,dirX/dirY/dir2/LOAD00000001.csv>, data integrity checks are not possible.
目录结构如下：
bucketA/dirX/dirY/dir1/LOAD000001.csv
bucketA/dirX/dirY/dir1/LOAD000002.csv
bucketA/dirX/dirY/dir2/LOAD000001.csv
bucketA/dirX/dirY/dir2/LOAD000002.csv
bucketA/dirX/dirY/dirN/LOAD000001.csv
【问题讨论】：
标签： amazon-s3 google-cloud-storage