插入数十亿整数的最快数据结构？

Question

我想推荐 C 中最快的数据结构，它可以容纳大约 20 亿个从输入中提取的整数。整数值不会小于 0 且不会大于 20 亿。我的目标是删除所有重复值并对数据结构的元素进行排序。如果可能的话，我希望能够在 O(1) 或 O(logn) 中或尽可能快地进行插入操作。如果可能的话，我也想避免树木。如有任何反馈或建议，我将不胜感激。

编辑：使用普通数组需要很长时间。所以，我想使用数组以外的其他数据结构，例如堆栈、队列等。

Answer 1

由于您有给定数量的值，并且这些值的范围与值的数量相同，您可以将列表实现为数组，其中每个数组索引代表一个值，每个数组元素的值代表给定值是否在列表中。

例如：

char *arr = malloc(20000000001);
int i;

// populate list
memset(arr, 0, sizeof(arr));
for (i=0; i<20000000001; i++) {
    int value;
    scanf("%d", &value);
    arr[value] = 1;
}

// print list
for (i=0; i<20000000001; i++) {
    if (arr[i]) {
        printf("%d\n", i);
    }
}

这里我们将列表初始化为包含所有值的 0。然后我们读入值。如果我们读取值 n，那么我们将 arr[n] 设置为 1。这会做两件事：它将值插入列表并通过始终将值设置为 1 来消除重复项，而不是增加价值。

这给出了 O(1) 次插入和重复删除，并且列表已经排序。

还要注意，由于数组的每个元素只需要存储值 0 或 1，因此我们使用 char 作为类型来节省内存。如果我们使用每个 bit 来保存给定值的值 0 或 1，我们可以进一步节省内存。这样做会涉及一些位移：

unsigned char *arr = malloc(20000000001 / 8 + 1);
int i;

// populate list
memset(arr, 0, sizeof(arr));
for (i=0; i<20000000001; i++) {
    int value;
    scanf("%d", &value);
    arr[value/8] |= 1 << (value%8);
}

// print list
for (i=0; i<20000000001; i++) {
    if (arr[i/8] & (1 << (i%8))) {
        printf("%d\n", i);
    }
}

这将内存需求减少到大约 250MB，这仍然很大但易于管理。