【问题标题】:Pseudo Distributed Mode Hadoop伪分布式模式 Hadoop
【发布时间】:2018-03-23 03:36:59
【问题描述】:

我在 Mac 中安装了 伪分布式模式 Hadoop 2.7.3 并完成了 Plural Sight配置 /强>。我将 Csv 文件 从本地复制到 hdfs。但是第二天当我搜索文件时,它不在 hdfs 中并自动删除。是否有任何其他 conf 设置,以使我的文件不丢失?

核心站点.xml

<configuration> 
   <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://localhost:9000</value> 
   </property> 
</configuration>

hdfs-site.xml

<configuration> 
   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

谢谢,

【问题讨论】:

  • 发布您的core-site.xmlhdfs-site.xml
  • 我为 core-site.xml 和 hdfs-site.xml 做了以下设置 -->core-site.xml fs.defaultFShdfs://localhost:9000 -->hdfs-site.xml -> dfs.replication1

标签: hadoop


【解决方案1】:

将这些属性添加到hdfs-site.xml

<property> 
   <name>dfs.namenode.name.dir</name> 
   <value>/home/username/hadoop-dfs/name</value> 
</property>
<property> 
   <name>dfs.datanode.data.dir</name> 
   <value>/home/username/hadoop-dfs/data</value> 
</property>

元数据和数据块默认存储在/tmp 下,因为它是hadoop.tmp.dir 的值。 /tmp 中的内容会在重启时被删除。

添加这些属性后,格式化namenode并启动服务。

【讨论】:

  • 谢谢您的回复,我们是否必须在 username & "name" 下创建 "hadoop-dfs" 目录,在 "hadoop-dfs" 下创建 "data" 目录?
  • 只创建hadoop-dfsnamedata 目录将分别由namenode 和datanode 创建。对于 Mac,相应地更改主路径。
猜你喜欢
  • 2011-02-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-04-04
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多