nodejs一致哈希库答案

【问题标题】：nodejs consistent hash librarynodejs一致哈希库
【发布时间】：2011-05-27 21:42:43
【问题描述】：

根据 STFW 提供的信息，猜测 CRC32、KETAMA 是目前几乎最好的一致性哈希算法，但我没有发现任何库实现它们。

【问题讨论】：

CRC32 不是一个一致的散列函数。

【解决方案1】：

我已经编写了一个 JavaScript CRC32 实现来散列一个字符串：

var crc32 = (function() {
    function utf8encode(str) {
        var utf8CharCodes = [];

        for (var i = 0, len = str.length, c; i < len; ++i) {
            c = str.charCodeAt(i);
            if (c < 128) {
                utf8CharCodes.push(c);
            } else if (c < 2048) {
                utf8CharCodes.push((c >> 6) | 192, (c & 63) | 128);
            } else {
                utf8CharCodes.push((c >> 12) | 224, ((c >> 6) & 63) | 128, (c & 63) | 128);
            }
        }
        return utf8CharCodes;
    }

    var cachedCrcTable = null;

    function buildCRCTable() {
        var table = [];
        for (var i = 0, j, crc; i < 256; ++i) {
            crc = i;
            j = 8;
            while (j--) {
                if ((crc & 1) == 1) {
                    crc = (crc >>> 1) ^ 0xEDB88320;
                } else {
                    crc >>>= 1;
                }
            }
            table[i] = crc >>> 0;
        }
        return table;
    }

    function getCrcTable() {
        if (!cachedCrcTable) {
            cachedCrcTable = buildCRCTable();
        }
        return cachedCrcTable;
    }

    return function(str) {
        var utf8CharCodes = utf8encode(str), crc = -1, crcTable = getCrcTable();
        for (var i = 0, len = utf8CharCodes.length, y; i < len; ++i) {
            y = (crc ^ utf8CharCodes[i]) & 0xFF;
            crc = (crc >>> 8) ^ crcTable[y];
        }
        return (crc ^ -1) >>> 0;
    };
})();

alert(crc32("A test string").toString(16));

【讨论】：

太好了，为什么不发布到 hashlib 或其他任何东西，如果有原生 c 版本会很棒。
我之前写过这篇文章，但我想我是从 C 版本中移植了大部分内容。我确定网络上有很多负载。
CRC32（或更确切地说是任何 CRC）不是一致的散列函数。
@NumLock：公平评论，但它可能属于这个问题。
不过，这是公认的答案。正如问题标题所建议的那样，我来到这里寻找 JavaScript 中的一致哈希函数。当然，问题本身表明 CRC32 只是根据来自互联网的随机信息猜测。但是你有一个有效的观点。出于某种原因，所有其他答案也适用于 CRC32。 :(

【解决方案2】：

我们一直在为 NodeJS 寻找 CRC32 函数，并解决了这个问题。我们需要通过读取标准输入来完成，因此我们使用了 Tim Downs 的代码并对其进行了一些修改。

如果有人需要，可以在这里找到。

var crcTable = [0, 1996959894, 3993919788, 2567524794, 124634137, 1886057615, 3915621685, 2657392035, 249268274, 2044508324, 3772115230, 2547177864, 162941995, 2125561021, 3887607047, 2428444049, 498536548, 1789927666, 4089016648, 2227061214, 450548861, 1843258603, 4107580753, 2211677639, 325883990, 1684777152, 4251122042, 2321926636, 335633487, 1661365465, 4195302755, 2366115317, 997073096, 1281953886, 3579855332, 2724688242, 1006888145, 1258607687, 3524101629, 2768942443, 901097722, 1119000684, 3686517206, 2898065728, 853044451, 1172266101, 3705015759, 2882616665, 651767980, 1373503546, 3369554304, 3218104598, 565507253, 1454621731, 3485111705, 3099436303, 671266974, 1594198024, 3322730930, 2970347812, 795835527, 1483230225, 3244367275, 3060149565, 1994146192, 31158534, 2563907772, 4023717930, 1907459465, 112637215, 2680153253, 3904427059, 2013776290, 251722036, 2517215374, 3775830040, 2137656763, 141376813, 2439277719, 3865271297, 1802195444, 476864866, 2238001368, 4066508878, 1812370925, 453092731, 2181625025, 4111451223, 1706088902, 314042704, 2344532202, 4240017532, 1658658271, 366619977, 2362670323, 4224994405, 1303535960, 984961486, 2747007092, 3569037538, 1256170817, 1037604311, 2765210733, 3554079995, 1131014506, 879679996, 2909243462, 3663771856, 1141124467, 855842277, 2852801631, 3708648649, 1342533948, 654459306, 3188396048, 3373015174, 1466479909, 544179635, 3110523913, 3462522015, 1591671054, 702138776, 2966460450, 3352799412, 1504918807, 783551873, 3082640443, 3233442989, 3988292384, 2596254646, 62317068, 1957810842, 3939845945, 2647816111, 81470997, 1943803523, 3814918930, 2489596804, 225274430, 2053790376, 3826175755, 2466906013, 167816743, 2097651377, 4027552580, 2265490386, 503444072, 1762050814, 4150417245, 2154129355, 426522225, 1852507879, 4275313526, 2312317920, 282753626, 1742555852, 4189708143, 2394877945, 397917763, 1622183637, 3604390888, 2714866558, 953729732, 1340076626, 3518719985, 2797360999, 1068828381, 1219638859, 3624741850, 2936675148, 906185462, 1090812512, 3747672003, 2825379669, 829329135, 1181335161, 3412177804, 3160834842, 628085408, 1382605366, 3423369109, 3138078467, 570562233, 1426400815, 3317316542, 2998733608, 733239954, 1555261956, 3268935591, 3050360625, 752459403, 1541320221, 2607071920, 3965973030, 1969922972, 40735498, 2617837225, 3943577151, 1913087877, 83908371, 2512341634, 3803740692, 2075208622, 213261112, 2463272603, 3855990285, 2094854071, 198958881, 2262029012, 4057260610, 1759359992, 534414190, 2176718541, 4139329115, 1873836001, 414664567, 2282248934, 4279200368, 1711684554, 285281116, 2405801727, 4167216745, 1634467795, 376229701, 2685067896, 3608007406, 1308918612, 956543938, 2808555105, 3495958263, 1231636301, 1047427035, 2932959818, 3654703836, 1088359270, 936918000, 2847714899, 3736837829, 1202900863, 817233897, 3183342108, 3401237130, 1404277552, 615818150, 3134207493, 3453421203, 1423857449, 601450431, 3009837614, 3294710456, 1567103746, 711928724, 3020668471, 3272380065, 1510334235, 755167117];
var crc = -1;
var rs = process.openStdin();

var crc32 = function(buf) {
    for (var i=0; i<buf.length; i++) {
        crc = (crc >>> 8) ^ crcTable[(crc ^ buf[i]) & 0xFF];
    }
};

rs.on('data', crc32);
rs.on('end', function() {
    var res = (crc ^ -1) >>> 0;

    console.log(res.toString(16));
});

【讨论】：

【解决方案3】：

我不知道为什么很多人仍然使用 CRC32 作为哈希函数来实现一致性哈希。

有一种方法更快，并且算法碰撞率低得多，它被称为FNV1a

研究人员的网页上提供了 FNV* 算法在汇编程序和优化 C 中的不同实现。

Ketama 库本身附带 CRC32，但您可以对其进行修补以使用 FNV1a。测试和比较！

【讨论】：

为什么在讨论一致性哈希时会提到冲突率？假设目标分布 n 为 2，散列函数可以为 所有可能的输入生成 2 个不同的散列并且仍然保持一致。
是的，你是对的，任何这些算法的冲突率都低到可以忽略不计的一致性哈希：你可能最终会在一些分片中得到更多的项目......就是这样.然而，速度非常重要，而且 CRC32 比 FNV 慢得多。