一、Java包形式访问Hadoop,比较简单,网上例子较多
二、WebHDFS REST API 访问 hadoop,按网上例子有的报错,现在终于试成功了。
WebHDFS REST API帮助:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
1、文件夹、文件信息相关操作
网上例子基本是对的,需要访问namenode的IP和端口;
mkdir:(需要加user.name=root,否则提示Permission denied: user=dr.who,。。)
list文件夹:
2、文件上传下载等
对文件的操作,需要加参数namenoderpcaddress。
前面为datanode的IP,参数namenoderpcaddress在我这里却不是1、中的namenode的IP,是可在ie中浏览的ip和端口。对此我也相当迷惑,虽然弄通了,却还是不明白为何如此,请大侠指点。
凡是新建、修改等等,都需要user.name参数。
open:(图中keypoint是文件名)
上传: