【问题标题】:Hive-- For Duplicate Order By Values, Will the Result Always be the Same?Hive--对于按值重复排序,结果是否总是相同的?
【发布时间】:2019-04-01 21:49:42
【问题描述】:

我知道理论上答案是随机的,但我想知道如果您使用 row_number() 执行例如窗口函数,并且您在给定分区的列顺序中有重复值,结果是否仍然相同?即使未指定,Hive 是否会查看其他列来确定排序?

【问题讨论】:

  • 不..它没有..在这种情况下排序在实践中也是随机的
  • 谢谢,其他人可以证实吗?

标签: sql hive sql-order-by window-functions


【解决方案1】:

不保证重复行的顺序,因为查询处理在许多映射器和化简器中并行完成,每个可能执行得更快或更慢,并不总是相同,具体取决于集群和每个节点所涉及的负载。即使在单个 reducer 上,Mapper 的结果也可能不会以相同的顺序处理。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-07-10
    • 2020-09-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多