集群配置和 hdfs答案

【问题标题】：Cluster configuration and hdfs集群配置和 hdfs
【发布时间】：2014-11-20 15:19:58
【问题描述】：

我正在尝试按照本教程配置我的集群 -

https://developer.yahoo.com/hadoop/tutorial/module2.html


<configuration>
  <property>
    <name>fs.default.name</name>

    <value>hdfs://192.168.71.128:9000</value>
  </property>
  <property>
    <name>dfs.data.dir</name>

    <value>/home/hadoop-user/hdfs/data</value>
  </property>
  <property>
    <name>dfs.name.dir</name>

    <value>/home/hadoop-user/hdfs/name</value>
  </property>
</configuration>

我还使用以下命令将本地文件复制到 /user/prema/

hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -put /home/hadoop-user/googlebooks-eng-all-1gram-20120701-0 /user/prema
hadoop-user@hadoop-desk:~/hadoop$ bin/hadoop dfs -ls /user/prema
Found 1 items
-rw-r--r--   1 hadoop-user supergroup  192403080 2014-11-19 02:43 /user/prema

现在，我很困惑。我在这里有数据文件 - /user/prema 但集群配置中的数据节点指向这个 - /home/hadoop-user/hdfs/data..它是如何相关的？

【问题讨论】：

是伪集群还是分布式？，如果是分布式，你有多少个slave节点？

标签： hadoop

【解决方案1】：

/user/prema 是 HDFS 中的一个文件夹。文件夹/home/hadoop-user/hdfs/data 是常规文件系统中的一个文件夹。

常规文件系统文件夹是 HDFS 存储其数据的地方。因此，当您从 HDFS 读取数据时，它实际上会转到物理常规文件系统文件夹来读取数据。您永远不需要接触这些数据，因为它的格式对用户不太友好 - HDFS 会为您处理数据。

【讨论】：