加盐时添加 RegionServers

Question

我阅读了有关加盐以及在顺序键的情况下如何将其用于负载平衡的信息。基本上，salt 应该将连续的行分配给不同的区域服务器。

我还阅读了这个article，它解释了如何在加盐的表上运行 MR 作业。

因此，建议生成盐为：

StringUtils.leftPad(Integer.toString(Math.abs(keyCore.hashCode() % numberOfRegions)), 3, "0") + "|" + logicalKey

所以你基本上取原始密钥的哈希并进行模除以获得盐。

您还需要指定基于盐的预分割，以便每个区域都包含具有相同盐的行。

所有这些似乎都是合理的。我的问题是，当您添加更多区域服务器时会发生什么？

预计您还会增加区域数量，因此您必须更改拆分策略，以便新区域遵循“区域内的所有行一个盐”规则。您还需要通过增加的 numberOfRegions 执行模除法。

所有这一切意味着当我尝试获取在区域数量较少时添加的行时，我可能会搞砸查询。例如，一开始您可以除以模 10（10 个区域），然后您将除以模 50（现在是 50 个区域）。

谁能解释一下这个加盐/预分裂的完整过程吗？

Answer 1

盐用于避免单个区域的热点。在您的情况下，numberOfRegions 被视为使用顺序键进行批量写入所涉及的区域数。此数字不必与集群中的区域总数一致。例如，如果 10 个区域可以处理您的写入量，则您应该在公式中使用等于 10 的numberOfRegions，或者如果将来您建议将写入次数加倍，则使用 20。而且您不需要为该区域的所有行遵循规则一盐。您需要找到足以处理写入量的区域数量。

此外，现在您不需要像您提到的博客文章中那样编写自定义输入表格式。您可以为单个 map reduce 作业指定多次扫描。在这种情况下，将自动处理数据局部性。每次扫描都会产生几个输入拆分，每个区域都有一个在此扫描中的数据。请参阅下面的示例

 List<Scan> scans = new ArrayList<>();
 for(int i = 0; i < numberOfRegions; i++){
        Scan scan = new Scan();
        scan.setBatch(500);
        scan.setAttribute(Scan.SCAN_ATTRIBUTES_TABLE_NAME, YOUR_TABLE_NAME);
        String regionSalt = StringUtils.leftPad(Integer.toString(i), 3, "0");
        scan.setStartRow( Bytes.toBytes(regionSalt + "|" + scanStart));
        scan.setStartRow( Bytes.toBytes(regionSalt + "|" + scanStop);
        scans.add(scan);
 }

 TableMapReduceUtil.initTableMapperJob(
            scans,
            YourMapper.class,
            Text.class,
            Text.class,
            job);