如何监控 BigQuery 中非常缓慢的数据加载

Question

我正在使用 Google API 方法 BigQueryClient.UploadJsonAsync 将未压缩的 JSON 文件加载到 C# 中的 BigQuery 中。上传的文件从 1MB 到 400MB 不等。上个月我一直在上传许多 TB 的数据，没有任何问题。但是从这两天开始，上传到 BigQuery 的速度似乎变得很慢。

我能够以 600MB/s 的速度上传，但现在我最多只能达到 15MB/s。 我检查了我的连接，在速度测试等连接测试中我仍然能够超过 600MB/s。

另外奇怪的是，BigQuery 负载吞吐量似乎取决于一天中的小时数。当达到太平洋标准时间下午 3 点时，我的吞吐量下降到接近 5-10MB/s。

我不知道如何调查。 有没有办法监控 BigQuery 数据加载？

Answer 1

目前尚不清楚您是在测量从开始发送字节到插入加载作业的时间，还是从开始发送到加载作业完成的时间。第一个问题主要是网络级别的吞吐量问题，而第二个问题还包括 BigQuery 服务的提取时间。您可以检查加载作业元数据来帮助解决这个问题。

如果您尝试使用 speedtest 等网站解决网络问题，请确保您选择了合适的远程节点进行测试；默认情况下，他们偏爱与您正在测试的客户端相关的网络位置接近的东西。