【问题标题】:How to find latest partition value如何找到最新的分区值
【发布时间】:2016-10-07 02:32:49
【问题描述】:

有没有办法从 Hive 查询中获取最新的分区值。

目前我正在使用show partitions table_name 查找分区列表,然后通过在 java 中迭代获取最后一个值。如果有任何查询,最好找到最后一个分区值。

尽管我们可以有另一个选项,例如 DDL 查询,但它需要时间来获取。 select max(partitions_field) from table_name

【问题讨论】:

  • 最新是什么意思?最近写入或最近创建的?
  • 是的。意思是最近的。在我的情况下,分区列是日期,所以我想从分区中获取最新日期

标签: sql hadoop hive impala bigdata


【解决方案1】:

您可以尝试在 bash 中运行这样的命令:

hive -e "show partitions shemaName.tableName;" 2>&1 | grep "partitionColumnName" | head -1

我想您已经了解了解决方案,您唯一需要确保的是分区列值按排序顺序显示,在我的情况下它们是,因为我使用格式yyyy.mm.dd

【讨论】:

    猜你喜欢
    • 2020-06-15
    • 2019-02-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-04-07
    • 1970-01-01
    • 1970-01-01
    • 2019-05-23
    相关资源
    最近更新 更多