【问题标题】:Hive query in oozie coordinatoroozie 协调器中的 Hive 查询
【发布时间】:2013-09-22 05:05:40
【问题描述】:

我使用 oozie 协调器运行了 10 个 hive 脚本,它以相同的百分比卡在了 reduce 阶段的一个脚本中,没有任何错误,这些脚本是简单的插入语句,我在命令行上对其进行了测试,它们工作正常,如何我要调试这个吗?

【问题讨论】:

  • 您是否检查过您使用 oozie 的用户是否拥有对 hive insert 语句插入数据的 HDFS 文件夹的所有权限。
  • 这是一个倾斜数据问题,因为我使用的是 hive 0.9,所以倾斜优化连接不起作用。

标签: hive oozie oozie-coordinator


【解决方案1】:

这是数据倾斜问题,80% 的数据被映射到单个键。一旦我们更新到 Hive 10,倾斜优化连接解决了这个问题。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-09-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多