如何在 MAPR 文件系统和 HDInsight Blob 存储之间进行 distcp

Question

我正在尝试执行下面的 distcp 命令，但是它抛出了异常：

hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report

抛出的异常如下：

我正在尝试执行下面的 distcp 命令，但是它抛出了异常：

hadoop distcp date_load=201901* wasb://dev3-spark@clusterdev.blob.core.windows.net/luiz/producao/performance/performance_report

抛出的异常如下：

19/02/06 13:34:53 INFO impl.MetricsConfig：从 hadoop-metrics2.properties 加载的属性 19/02/06 13:34:53 INFO impl.MetricsSystemImpl：计划的快照周期为 10 秒。 19/02/06 13:34:53 INFO impl.MetricsSystemImpl：天蓝色文件系统指标系统已启动 19/02/06 13:34:53 错误工具。DistCp：无效参数： org.apache.hadoop.fs.azure.AzureException：org.apache.hadoop.fs.azure.AzureException：找不到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用它创建它匿名凭据。 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:938) 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.initialize(AzureNativeFileSystemStore.java:438) 在 org.apache.hadoop.fs.azure.NativeAzureFileSystem.initialize(NativeAzureFileSystem.java:1048) 在 org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2693) 在 org.apache.hadoop.fs.FileSystem.access$300(FileSystem.java:98) 在 org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2773) 在 org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2755) 在 org.apache.hadoop.fs.FileSystem.get(FileSystem.java:411) 在 org.apache.hadoop.fs.Path.getFileSystem(Path.java:309) 在 org.apache.hadoop.tools.DistCp.setTargetPathExists(DistCp.java:216) 在 org.apache.hadoop.tools.DistCp.run(DistCp.java:116) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 在 org.apache.hadoop.tools.DistCp.main(DistCp.java:430) 原因：org.apache.hadoop.fs.azure.AzureException：找不到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.connectUsingAnonymousCredentials（AzureNativeFileSystemStore.java:730） 在 org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.createAzureStorageSession(AzureNativeFileSystemStore.java:933) ... 12 更多 无效参数：org.apache.hadoop.fs.azure.AzureException：找不到帐户 clusterdev.blob.core.windows.net 中的容器 dev3-spark，我们无法使用匿名凭据创建它。

Answer 1

您可以从本地集群 distcp 到您的 Azure 存储帐户

% hadoop distCP hdfs://<yourHostName>:9001/user/<yourUser>/<yourDirectory> wasbs://<yourStorageContainer>@<YourStorageAccount>.blob.core.windows.net/<yourDestinationDirectory>/

希望这会有所帮助。