我应该如何将 Blob 从 BlobStore 移动到 Google Cloud Storage？

Question

我们的应用程序多年来一直使用 Blobstore 在 App Engine 上运行。我们想将我们的视频文件移至 Google Cloud Storage。将大型 Blob 从 Blobstore 迁移到 GCS 的最佳做法是什么？

这只是使用 BlobReader 并一次将字节写入 GCS 的问题吗？还是有其他可用的快捷方式/工具？

关于从 App Engine 写入 GCS，不乏可供选择的库：

• Blobstore API（可以为 GCS 对象生成 BlobKey，BlobStore Files API 已弃用，但一次性使用有效）
• Google Cloud Storage API（再次被弃用，但一次有效）
• Google Cloud Storage Client Library
• Google Cloud Storage Python Library
• Google Cloud Storage JSON API Library
• boto

有什么理由使用其中一个？

Answer 1

我不必这样做，但我想说没有自动迁移工具。所以是的，你必须自己动手。

我的方法是使用cron.yaml 进行批量迁移，跟踪迁移了哪些文件，以便您可以以不同的方式提供它们（根据this page）。云存储在创建对象后为您提供 md5 哈希，您可以使用它来验证每个文件的迁移在删除 Blobstore 副本之前没有错误（可以在文件在迁移过程中计算类似的哈希)。

关于图书馆：

• Google 云存储客户端库使用可恢复上传功能来“流式传输”文件，这将使事情在内存方面更加顺畅。我发现它非常可靠（与已弃用的 Google Cloud Storage API/Files API 不同）。
• JSON API 客户端较低级别。
• boto 未针对在 GAE 中使用进行优化，而是在桌面上使用，并且您不想离开 Google Cloud 进行迁移 ($$$)。
• 据我所知，Blobstore 允许您从 GCS 提供文件并让用户将文件上传到 GCS，但不能从您的应用程序中写入文件本身。