【发布时间】:2022-01-09 23:30:13
【问题描述】:
由于我是大数据领域的初学者,安装了 Hadoop 3.3.1 和 Hive 并在 Hive 上上传了数据。我有一些问题和困惑:
-
我没有在 core-site.xml 中配置 hadoop.tmp.directory,但是在 hdfs-site.xml 中配置了 datanode 和 namenode dir 路径。如果我不在 core-site.xml 中配置 tmp 目录,这会影响我的 mapreduce 工作吗?
-
因为我已经集群了从属服务器和主服务器,并且还安装了配置单元并上传了数据,现在如果我在任何集群主服务器或任何一个从服务器中更改配置(重新配置,如 core-site.xml 中的 tmp 目录路径),所以我应该在每次重新配置后执行 hdfs namenode -format,是否会通过格式化 namenode 来丢失 hive 和上传的数据?
-
这是我的 hdfs-site.xml 和 core-site.xml 配置。请告诉我这些配置是否正确。
核心站点.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
master 中的 hdfs-site.xml:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
从属服务器中的 hdfs-site.xml:
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
【问题讨论】: