涓流不限制 gsutil 的带宽答案

【问题标题】：trickle does not limit the bandwidth of gsutil涓流不限制 gsutil 的带宽
【发布时间】：2020-12-08 12:55:09
【问题描述】：

我尝试将 .mp4 文件从我的本地目录复制到我的谷歌云存储桶，使用：

gsutil cp my_filefile.mp4 gs://my_bucket

这部分按预期工作，但是当我尝试限制带宽时，使用：

trickle -d 10 -u 10 gsutil cp my_filefile.mp4 gs://my_bucket

上传以相同的速率进行，而不是 10 kb/s。我读过trickle 不处理静态可执行文件，.mp4 似乎是因为在终端中运行ldd my_file.mp4 时，它返回not a dynamic executable。

有没有人遇到过同样的问题，如果是这样，问题是如何处理的，还是我以错误的方式处理这个问题？

更新 1：事实证明，我使用什么文件并不重要。 gsutil 仍然以某种方式绕过涓流。我已经测试过，trickle 是否可以与其他程序一起使用，并且它可以按预期执行，并具有带宽控制。我还测试了gsutil mv 和gsutil rsync，结果与cp 相同。我还在 arm64 系统上测试了带宽限制，结果相同。

【问题讨论】：

标签： google-cloud-storage mp4 bandwidth gsutil trickle

【解决方案1】：

您应该按照the documentation 中的说明限制线程和进程的数量。在多进程的情况下不应应用涓流。

trickle -d 10 -u 10 gsutil -o "GSUtil:parallel_process_count=1" \
  -o "GSUtil:parallel_thread_count=1" cp my_filefile.mp4  gs://my_bucket

【讨论】：

我已经从文档中尝试了该命令，结果大约 1 秒后，一个大小为 88 Mb 的文件被上传到我的存储桶中。据我了解，当我设置-u 10 时，它不应该以 10 kb/s 的速度上传吗？在终端中还声明：trickle: Could not reach trickled, working independently: No such file or directory
这很奇怪。它可以在我的计算机上运行（安装了 WSL（ubuntu）的 Windows10），但不能在 Cloud Shell 上运行......要删除错误，请添加 -s 作为选项，但这不是我的问题猜...
我想我可能不得不让我的一位同事来测试它，看看我的机器是否有问题。但是感谢您的回复，以及有关错误的提示:)
根据任务，将涓流值设置为您想要的值的 1/10，并将 gsutil 的进程或线程数设置为 10 可能是有益的，特别是如果您正在下载大量小文件。