在 C# 中操作非常大的二进制字符串

Question

我正在做一个遗传算法项目，我将我的染色体编码成一个二进制字符串，其中每 32 位代表一个值。问题是我正在优化的函数有超过 3000 个参数，这意味着我的位串中有超过 96000 位，我对此进行的操作只是为了减慢......

我进行了如下操作：我有一个二进制类，我正在创建一个布尔数组，它代表我的大二进制字符串。然后我用各种移位和移动等操作这个二进制字符串。

我的问题是，有没有更好的方法来做到这一点？速度简直要命。我敢肯定，如果我只对一个位字符串执行此操作会很好，但我必须对 25 位字符串进行超过 1000 代的操作。

Answer 1

我要做的就是退后一步。您的分析似乎与实现细节密切相关，即您选择了 bool[] 作为表示位串的方式。

清除您对 bool 和数组的想法，并列出您实际需要执行的操作、它们发生的频率以及它们必须有多快的完整列表。理想情况下，请考虑您的速度要求是平均速度还是最坏情况下的速度。 （有许多数据结构通过对每千次廉价操作进行一次昂贵的操作来获得较高的平均速度；如果有任何昂贵的操作是不可接受的，那么您需要预先知道这一点。）

获得该列表后，您就可以研究哪些数据结构运行良好。

例如，假设您的操作列表是：

• 按照 32 位的顺序构建位序列
• 将大约 3000 个位序列连接在一起以形成新的位序列
• 将新的位序列快速插入到特定位置的现有长位序列中

仅考虑该操作列表，我认为您想要的数据结构是可连接双端队列。可连接双端队列支持在任一端快速插入，并且可以有效地分解为两个双端队列。然后很容易将东西插入双端队列的中间：分解双端队列，将项目插入一半的末尾，然后再次加入它们。

但是，如果您随后对问题添加另一个操作，例如“在 90000 位序列中的任意位置搜索特定位串，并在亚线性时间内找到结果”，那么只需一个可连接双端队列不会这样做。搜索双端队列很慢。还有其他支持该操作的数据结构。

Answer 2

如果我理解正确，您将位数组编码为bool[]。第一个明显的优化是将其更改为int[]（甚至long[]），并尽可能利用整个机器字上的位操作。

例如，这将使轮班效率提高约 4 倍。

Answer 3

BitArray 类没有帮助吗？

Answer 4

BitArray 可能会比布尔数组快，但您仍然无法获得移动 96000 位的内置支持。

GPU 非常擅长大规模位运算。也许Brahma、CUDA.NET 或Accelerator 可以提供服务？

Answer 5

让我明白；目前，您正在为“染色体”使用一系列 32 位值。我们是在谈论 DNA 染色体还是神经进化算法染色体？

如果是 DNA，你处理 4 个值； A，C，G，T。这可以用 2 位编码，使一个字节能够保存 4 个值。你的 3000 个元素的染色体序列可以存储在一个 750 个元素的字节数组中；这没什么，真的。

您的两个最昂贵的操作是往返压缩比特流。我会推荐一个字节键枚举：

public enum DnaMarker : byte { A, C, G, T };

然后，您通过一次操作从其中的 4 个变为一个字节：

public static byte ToByteCode(this DnaMarker[] markers)
{
   byte output = 0;
   for(byte i=0;i<4;i++)
      output = (output << 2) + (byte)markers[i];
}

...并用类似这样的方式将它们解析出来：

public static DnaMarker[] ToMarkers(this byte input)
{
   var result = new byte[4];
   for(byte i=0;i<4;i++)
       result[i] = (DnaMarker)(input - (input >> (2*(i+1))));

   return result;
}

与在堆中分配和使用数组相比，使用四个参数（必要时输出）可能会略微提高性能。但是，你失去了使代码更紧凑的迭代。

现在，因为您将它们打包成四字节“块”，如果您的序列长度并不总是四的精确倍数，您最终会用零值“填充”块的末尾（A ）。解决这个问题很麻烦，但如果你有一个 32 位整数来告诉你标记的确切数量，你可以简单地丢弃你在字节流中找到的任何东西。

从这里开始，无限可能；您可以通过简单地对每个数组调用 ToString() 将枚举数组转换为字符串，同样您可以输入一个字符串并通过使用 Enum.Parse() 迭代来获取一个枚举数组。

请始终记住，除非内存非常宝贵（通常不是这样），否则以易于使用的格式而不是最紧凑的格式处理数据几乎总是更快。一个大的例外是网络传输。如果您必须通过 Internet 发送 750 字节而不是 12KB，则较小的大小具有明显的优势。