【问题标题】：What's wrong with my Hive-UDF?How to set the map number of hive?我的 Hive-UDF 出了什么问题？如何设置 hive 的地图编号？
【发布时间】：2011-09-08 03:57:09
【问题描述】：
我使用 Hadoop-Hive 来分析 apache 日志以统计访问功能。我编写了一个名为 GetCity 的 UDF 来将 remote_ip 转换为城市名称，但是当我运行“select GetCity(remote_ip) from log_pre;”时，它很慢，甚至当数据太大超过 1000 项时会失败。
我尝试设置mapred.reduce.tasks=10，但是jobtracker 显示的map total num 都是1。选择时如何设置更多地图？
【问题讨论】：
标签：
hadoop
mapreduce
hive
【解决方案1】：
当执行这样的查询时，“GetCity(remote_ip)”调用总是发生在映射器上。事实上，我怀疑这里的 reducer 中是否发生了任何事情，除了可能是文件连接。您可以通过调用从 hive 控制映射器中使用的任务数：
SET mapred.map.tasks=10;
希望这会有所帮助，
同步树