HDFS系统在磁盘上的物理路径在哪里？答案

【问题标题】：Where is the physical path of HDFS system on disk?HDFS系统在磁盘上的物理路径在哪里？
【发布时间】：2017-02-10 15:10:21
【问题描述】：

我是Hadoop和HBase的初学者，我下载了一个关于HBase的示例项目进行学习，似乎是使用MR将现有数据导入HBase。此示例将 .txt 数据文件放在 HDFS 上的此路径下： /user/root/uid_details.txt ，当单击“导入”按钮时，应将 uid_details.txt 中的数据导入 HBase。

问题是，我不知道 /user/root/ 在我的磁盘上的实际物理路径，所以我不知道 uid_details.txt 应该放在我的磁盘上的什么位置。我的 core-site.xml 和 hdfs-site.xml ： Screenshots of core-site.xml and hdfs-site.xml

【问题讨论】：

如果您在谈论 hdfs 块，请查看此问题：stackoverflow.com/questions/40831464/…

标签： hadoop hbase hdfs

【解决方案1】：

hdfs-site.xml 中的dfs.datanode.data.dir 配置告诉您文件的物理位置（hdfs-site.xml 配置的详细说明可以找到here。

因此，在您的特定情况下，文件应位于/usr/local/hadoop_dfs/data 目录中。

【讨论】：

【解决方案2】：

hadoop(hdfs) 中的数据位于dfs.datanode.data.dir（存在于hdfs-site.xml）的本地目录位置。但是您无法直接访问此数据（即您可能无法 cd 进入目录并查看它）。

hbase 数据位于hbase.rootdir 中提到的 HBASE 根目录中。您可以在hbase-site.xml 中查看基本目录的位置。

【讨论】：

【解决方案3】：

您需要使用 hdfs dfs / hadoop fs（或其他 hdfs 客户端）将文件放入 dfs - HDFS 块在磁盘上的位置不会帮助您将文件添加到 HDFS 文件系统 - 例如

hdfs dfs -put /path/to/uid_details.txt /user/root/uid_details.txt

或

hdfs dfs -put /path/to/uid_details.txt hdfs://namenodeaddress/user/root/uid_details.txt

【讨论】：

【解决方案4】：

我猜你是在本地虚拟机中运行所有这些命令（已经安装了 hadoop 和 hbase）。

尝试运行以下命令找出 hdfs 目录的位置。

hdfs dfs -ls /

它应该列出所有的目录，如果你想创建一些目录，你也可以创建。

然后您可以相应地放置文件并开始导入过程。

【讨论】：