HBase 映射/减少依赖问题

Question

1. 概述

---

我基于resteasy框架开发了一个Rest api服务。在服务中，我会将数据存储到 HBase 数据库中。然后，执行某些条件（例如插入一条记录）触发的map/reduce过程。

1. 需要

---

在 Map 类中，我导入了一些第三方库。我不想将这些库打包到战争文件中。

TableMapReduceUtil.initTableMapperJob(HBaseInitializer.TABLE_DATA,   // input HBase table name
                                          scan,                      // Scan instance to control CF and attribute selection
                                          LuceneMapper.class,        // mapper
                                          null,                      // mapper output key
                                          null,                      // mapper output value 
                                          job);
FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/qin/luceneFile"));
job.submit();

1. 问题

---

如果将要部署到码头容器的war文件中的所有库打包，它就可以正常工作。如果不将第三方库打包到war中，而是将这些库上传到hdfs并将它们添加到类路径中，它就不起作用。如下所示

conf.set("fs.defaultFS","hdfs://master:9000"); 
FileSystem hdfs = FileSystem.get(conf); 
Path classpathFilesDir = new Path("bjlibs"); 
FileStatus[] jarFiles = hdfs.listStatus(classpathFilesDir); 
for (FileStatus fs : jarFiles) { 
      Path disqualified = new Path(fs.getPath().toUri().getPath()); 
      DistributedCache.addFileToClassPath(disqualified, conf);
}
hdfs.close();

Answer 1

试试 TableMapReduceUtil.addHBaseDependencyJars()