【问题标题】:Unable to connect with azure blob storage with local hadoop无法使用本地 hadoop 连接 azure blob 存储
【发布时间】:2015-08-28 05:37:23
【问题描述】:

在尝试将 本地 hadoopAZURE BLOB 存储连接时(即使用 blob 存储作为 HDFS) 与 Hadoop 版本 - 2.7.1,它抛出异常

到这里我已经通过设置属性成功组建了本地集群

<property>
    <name>fs.default.name</name>
    <value>wasb://account@storage.blob.core.windows.net</value>
</property>

然后是 core-site.xml 中用于 blob 存储的键值。

在列出文件或对 blob 存储进行 HDFS 操作时,得到以下异常为

 ls: No FileSystem for scheme: wasb

请任何人指导我解决上述问题。

【问题讨论】:

  • 这个配置文件在哪里?

标签: java azure hadoop hdfs


【解决方案1】:
  1. 您需要在 hadoop 类路径中添加hadoop-azure.jar
  2. 下载 azure-storage-java 项目并使用 maven 构建它,然后您将获得 azure-storage-3.0.0.jar。在 hadoop 类路径中添加构建的 jar。

现在您可以进行所有操作了。有关详细信息,请参阅 Azure Blob Storage 文档。

【讨论】:

  • @Kumar:这也适用于 Hadoop 2.6 吗?还是应该是 2.7?
猜你喜欢
  • 2020-05-28
  • 2019-06-08
  • 2022-08-03
  • 2016-04-19
  • 2018-06-30
  • 1970-01-01
  • 2021-07-11
  • 2017-09-17
  • 1970-01-01
相关资源
最近更新 更多