【问题标题】:Example about how set a Hive property from within a Hive query有关如何从 Hive 查询中设置 Hive 属性的示例
【发布时间】:2017-07-28 02:13:38
【问题描述】:

我需要一个快速示例,说明如何使用查询更改 hive 中的属性,例如,我想更改属性“mapred.reduce.tasks”,因此,如何在查询中执行此更改。

我正在为 HDPCD 考试训练自己,考试的目标之一是“在 Hive 查询中设置 Hadoop 或 Hive 配置属性”所以我认为这与在 Hive 控制台中执行类似:

set mapred.reduce.tasks=2;

【问题讨论】:

  • 在我看来,您展示的“设置...”示例就是他们正在寻找的答案。这个页面 (hadoopsters.net/2015/12/07/…) 似乎也证实了这一点。

标签: hadoop hive hql hortonworks-data-platform bigdata


【解决方案1】:

要更改 Hadoop 和 Hive 配置变量,您需要在 hive 查询中使用 set。 所做的更改将仅适用于该查询会话

set -v 打印所有 Hadoop 和 Hive 配置变量。

SET mapred.reduce.tasks=XX // In Hadoop 1.X
SET mapreduce.job.reduces=XX // In Hadoop 2.X (YARN)

reset 在查询中将配置重置为默认值

【讨论】:

  • 那么,我在我的问题中做的例子也是答案,不是吗?
猜你喜欢
  • 1970-01-01
  • 2019-07-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-31
  • 2018-09-26
  • 2020-02-12
  • 1970-01-01
相关资源
最近更新 更多