【问题标题】:Hive join query very slowHive 连接查询非常慢
【发布时间】:2014-05-05 16:10:11
【问题描述】:

我试图用 6 个减速器来减少他的以下查询,但我总是看到只有一个减速器启动。不知道为什么任务参数被忽略。请帮忙。 (我使用的是旧版本的 hive,因此不支持查询)

设置 mapred.reduce.tasks=6;

select concat(test1.col_0,test1.col_1) from test1 left outer join test2 where concat(test1.col_0,test1.col_1) = concat(test2.col_0,test2.col_1) and concat(test2.col_0,test2 .col_1) 为空;

【问题讨论】:

  • 您可以尝试将第一个 where 子句转换为 ON 条件:select concat(test1.col_0,test1.col_1) from test1 left outer join test2 ON concat(test1.col_0,test1.col_1) = concat(test2.col_0,test2.col_1) 其中 concat(test2.col_0,test2.col_1) 为空;

标签: hadoop hive hbase bigdata


【解决方案1】:

重新发布评论作为答案:

您可以尝试将第一个 where 子句转换为 ON 条件吗:

select concat(test1.col_0,test1.col_1) from test1 left outer join test2 ON concat(test1.col_0,test1.col_1) = concat(test2.col_0,test2.col_1) where concat(test2.col_0,test2.col_1) IS NULL;

【讨论】:

    猜你喜欢
    • 2022-01-12
    • 1970-01-01
    • 2010-12-07
    • 2012-06-30
    • 2015-04-19
    • 2015-03-29
    • 2022-06-14
    • 1970-01-01
    • 2020-09-30
    相关资源
    最近更新 更多