来自 Hive UDF / UDAF 的 JRI

Question

我在一些数据节点上安装了 R，可以编写 Map reduce 作业通过 JRI 调用 R。

接下来，为了通过配置单元查询调用 R，我重写了 GenericUDAFEvaluator 中的 terminate 方法并在那里创建 Rengine 对象。

以前的 mapred 工作要求我先完成-Dmapred.child.env="R_HOME=/usr/lib64/R" 才能工作。

当我在 hive 中执行此操作（通过 set mapred.child.env="R_HOME=/usr/lib64/R"; ）然后运行查询时，作业在设置时失败。

更一般地说，这从 hive 成功：

 select count(*) from some_table limit 10;

但这失败了：

 set mapred.child.env='abc=pqr';
 select count(*) from some_table limit 10;

我有hive-hwi-0.9.0-cdh4.1.1.jar 和hadoop-2.0.0-cdh4.1.1

Answer 1

我从 set 语句中删除了引号，它起作用了。这样做：

set mapred.child.env=abc=pqr;

select count(*) from some_table limit 10;

这行得通