一、Java包形式访问Hadoop,比较简单,网上例子较多

二、WebHDFS REST API 访问 hadoop,按网上例子有的报错,现在终于试成功了。

WebHDFS REST API帮助:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

1、文件夹、文件信息相关操作

网上例子基本是对的,需要访问namenode的IP和端口;

mkdir:(需要加user.name=root,否则提示Permission denied: user=dr.who,。。)

WebHDFS REST API 访问 hadoop 记录

list文件夹:

WebHDFS REST API 访问 hadoop 记录

2、文件上传下载等

对文件的操作,需要加参数namenoderpcaddress。

前面为datanode的IP,参数namenoderpcaddress在我这里却不是1、中的namenode的IP,是可在ie中浏览的ip和端口。对此我也相当迷惑,虽然弄通了,却还是不明白为何如此,请大侠指点。

凡是新建、修改等等,都需要user.name参数。

open:(图中keypoint是文件名)

WebHDFS REST API 访问 hadoop 记录

上传:

WebHDFS REST API 访问 hadoop 记录

相关文章: