将数据从 Hadoop 传输到 Google Cloud Storage 时如何加快 distcp答案

【问题标题】：How to speed up distcp when transferring data from Hadoop to Google Cloud Storage将数据从 Hadoop 传输到 Google Cloud Storage 时如何加快 distcp
【发布时间】：2017-03-23 11:16:33
【问题描述】：

谷歌云提供了使用 Hadoop 的连接器。(https://cloud.google.com/hadoop/google-cloud-storage-connector)

使用连接器，我将数据从 hdfs 接收到谷歌云存储

例如）

hadoop discp hdfs://${path} gs://${path}

但数据太大（16TB），接收速度只有 2mb/s

所以，我尝试更改设置 distcp（地图属性，带宽属性...）

但是速度是一样的。

将数据从 HDFS 传输到 Google Cloud Storage 时如何加快 distcp

【问题讨论】：

你知道google有没有像amazon这样的参数fs.s3a.fast.upload=true
google cloud没有amazon这样的参数。
通常要达到最大吞吐量，您需要将映射器数量设置为您复制的多个文件：hadoop discp -m <NUMBER_OF_FILES> hdfs://${path} gs://${path}

标签： hadoop hdfs google-cloud-storage google-cloud-dataproc google-hadoop

【解决方案1】：

official documentation 指出，将数据从本地集群传输到 GCP 的最佳选择之一是通过 Internet 使用 VPN tunnel，甚至使用多个 VPN tunnels 来增加带宽。

提出的其他选项是在 Google 的边缘接入点 (PoPs) 和您的网络之间使用直接对等互连，或者在 Cloud Interconnect service provider 的帮助下建立与 Google 网络的直接连接。

【讨论】：