如何配置 pig 以通过 WebHDFS 访问数据？

Question

我是 hadoop 新手，所以如果这个问题是一个错误，请原谅我。我正在尝试将 pig 配置为使用 webhdfs 来获取数据。我不知道该怎么做我试过：-

Configuration configuration = new Configuration();
conf.set("fs.defaultFS","webhdfs://<uri>:50070");
properties.putAll(ConfigurationUtil.toProperties(conf));

然后我将这个属性对象（properties）传递给pig主文件中的属性对象。但是，这似乎不起作用。对 hdfs 的任何访问都会超时而没有响应。谁能告诉我这是怎么做到的？

Answer 1

经过多次反复试验，我想我可能已经解决了这个问题。问题不在于传递的配置（顺便说一下，我可以在我的类路径上保留一个 core-site.xml，上面的 fs.defaultFS 属性）。问题是我试图运行的猪脚本文件有类似的东西：-

REGISTER 'hdfs://<uri>:9000/filename.jar'

应该是什么时候

REGISTER 'webhdfs://<uri>:50070/filename.jar'

不确定这是否很明显，我浪费了你的时间。很抱歉。