【问题标题】:Is there a way to sort splitted arrays?有没有办法对拆分的数组进行排序?
【发布时间】:2015-08-02 09:26:29
【问题描述】:

我有三个整数数组(arr1、arr2、arr3)存储在三个不同的数据库(db1.table、db2.table、db3.table)中。我无法从表中检索整个数组,因为它们太大而无法将其存储到内存中。

我需要从10*n 到10*(n+1) 的索引中从n >= 0 升序排序的整个数组(数组的联合)中获取所有排序数据。我无法检索整个数组,找到它们的并集并对其进行排序。但是我可以从10*n 到10*(n+1) 以升序检索这些数组中的任何一个的排序数据。

arr1        arr2           arr3
 2           5              2
 43          2              234
 234         2              235
 23          5              234
 2           10             46
 1           17             456
 423        233             6
 2          422             46
 54         23              345
 ...............................

有没有比愚蠢地搜索所有数组更好的算法?

【问题讨论】:

  • 不能只合并各个数组的查找结果吗?
  • @OliverCharlesworth 这是主要的困难。我只是无法想象如何以正确的方式合并它们。假设我需要从排序后的数组中获取 100--110 个元素。即使我从三个数组中的任何一个中得到 100--110 个元素,我也不能只合并结果,对它们进行排序并说:这是包含我需要的结果的元素集。
  • 那我一定是误会了,因为从阅读您的问题来看,这听起来正是您想要的!
  • 哦,您想要在 total 数组中测量的索引范围吗?如果是这样,那么我认为没有一种聪明的方法可以实现这一点,除了流式传输所有结果,随时合并,然后选择相关的子范围。如果您正在执行许多此类查询,那么您可能会构建某种索引。
  • 您是否需要从每个列表中获取元素 100 到 110,然后对其进行排序(结果是 30 个元素的列表),或者您需要对列表进行联合和排序,然后从结果列表中取出元素 100 到 110(10 个元素)?

标签: java arrays algorithm


【解决方案1】:

做一个跨数据库联合,如果数据库在同一个节点或集群中,大多数引擎都会允许你这样做。

mysql> select * from test.nums;
+------+
| num  |
+------+
|    1 |
|    3 |
|    5 |
|    7 |
|    9 |
+------+
mysql> select * from test2.nums;
+------+
| num  |
+------+
|    2 |
|    4 |
|    6 |
|    8 |
+------+
mysql> select * from test.nums union select * from test2.nums order by num limit 3, 6;
+------+
| num  |
+------+
|    4 |
|    5 |
|    6 |
|    7 |
|    8 |
|    9 |
+------+

如果由于某种原因对您不起作用,在代码中执行此操作的方法是使用游标和三向合并。

假设您可以执行 "SELECT num from test.nums ORDER BY num" 和不同的 "SELECT num from test2.nums ORDER BY NUM"(以及第三次),那么您将拥有三个游标来迭代代码中的结果集。现在这取决于连接到数据库的驱动程序的实现,但是游标通常会与为您管理内存的滑动窗口一起使用。这意味着您可以透明地迭代整个记录集,但一次只有其中的一部分在内存中。

一旦你有了三个游标,就开始一次一个地迭代元素的排序列表。如果您还记得合并排序算法,这就像它的合并阶段,只有三个列表而不是两个。

在迭代游标时需要做的另一件事是简单地忽略在位置 x*100 之前添加到排序合并数组中的每个元素,从那里开始添加,并在到达 (x +1)*100

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-07
    • 2020-03-28
    • 1970-01-01
    • 2011-02-26
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多