将数据从 Google Cloud Storage 复制到本地 Hadoop 集群答案

【问题标题】：Copy Data from Google Cloud Storage into Local Hadoop Cluster将数据从 Google Cloud Storage 复制到本地 Hadoop 集群
【发布时间】：2017-04-28 20:54:31
【问题描述】：

我正在尝试将数据从 Google Cloud Storage 中的存储桶复制到本地 Hadoop 集群（我已安装在我的 Mac 中）。已按照此链接中给出的说明进行操作； Migrating 50TB data from local Hadoop cluster to Google Cloud Storage 但是当我执行 hdfs 命令hdfs dfs -ls gs://tempuserstorage 时出现以下错误。

17/04/28 15:42:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/04/28 15:42:14 INFO gcs.GoogleHadoopFileSystemBase: GHFS version: 1.6.0-hadoop2
    -ls: Google Cloud Storage bucket name must not contain '/' character.
    Usage: hadoop fs [generic options] -ls [-d] [-h] [-R] [<path> ...]

我也尝试过hadoop fs -ls gs://tempuserstorage，但得到了同样的错误

我错过了什么吗？

【问题讨论】：

标签： hadoop google-cloud-platform google-cloud-storage

【解决方案1】：

看起来我在为fs.gs.system.bucket 提供值时犯了一个错误。除了存储桶名称（比如mybucket）；我还在存储桶中添加了目录（mybucket/mydir），这似乎导致了问题

【讨论】：