第一种方式:

    如果配置文件数据不是很大,可以放在本地,然后在打包进去,代码如下:

Mapreduce(MR)读取配置文件的三种方式,遍历HDFS目录文件


第二种:

    如果配置文件数据比较大,可以传到HDFS里,以传参的形式加载,代码:

Mapreduce(MR)读取配置文件的三种方式,遍历HDFS目录文件

这种方式需要在Main里设置参数位置,核心代码如图:

Mapreduce(MR)读取配置文件的三种方式,遍历HDFS目录文件

第三种:
 配置文件已经在HDFS上存在(以part文件形式存在,第二种是传上去的文件不是part格式,比如txt形式),以传参的形式加载,代码:Mapreduce(MR)读取配置文件的三种方式,遍历HDFS目录文件

这种方式也要在Main设置参数的位置,代码同二。

相关文章:

  • 2022-12-23
  • 2021-04-07
  • 2022-02-08
  • 2021-11-30
  • 2022-01-15
猜你喜欢
  • 2021-12-12
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-03-02
  • 2022-12-23
  • 2021-11-23
相关资源
相似解决方案