将远程文件直接上传到 Google 存储答案

【问题标题】：Uploading a remote file directly into Google Storage将远程文件直接上传到 Google 存储
【发布时间】：2020-06-19 21:37:24
【问题描述】：

我想知道是否可以将远程文件上传到 Google 存储，而无需先将其下载到本地存储。基本上我想做的是将 URL 传递给存储客户端并等到它提取文件。谢谢！

【问题讨论】：

我发现这个question 与你的类似，基本上答案提到可以通过Cloud Transfer 将 URL 传输到 GCS。此解决方案针对需要成为数百万个 URL 的情况GCS 对象。另一种选择是编写一个作业，将来自读取 URL 的传入流泵入到 GCS 的写入流中，并在靠近存储桶的 Google Cloud 中的某个位置运行该作业。
您能详细说明您的用例吗？你在网站上吗？对您来说，“本地存储”意味着什么？服务器？您当地的环境？
基本上我在虚拟机上运行一个应用程序，我想直接从第三方上传一些文件到 GS 而不先下载它。因此，本地存储将意味着 VM 的存储。抱歉，如果这不够清楚。
我真的认为不先下载文件就无法将文件直接上传到谷歌云存储:(也许使用代码你可以做到这一点。
嘿@fred 我开始使用 GSFUSE，这在我看来非常令人印象深刻。如果设置正确，它就像一个魅力。我安装了一个存储桶并将其用作本地文件系统。您可能需要关注 GSFUSE 和 POSIX 文件系统之间的主要区别（并发性对我来说有点问题）以及定价。所以我推荐这个，它对我来说几乎是完美的。

【解决方案1】：

您应该能够使用 google colaboratory 实例来执行此操作。您可以将文件下载到实例，然后将其保存到您的驱动器（尽管您必须先"mount" the drive）。然后，您可以将文件从实例保存到您的驱动器。虽然这仍然是一个两步过程，但它至少避免了将文件传输到本地机器

【讨论】：