读写二进制的最快方式

Question

我目前正在优化一个应用程序，其中一项经常进行的操作是读取和写入二进制文件。我需要两种功能：

Set(byte[] target, int index, int value);

int Get(byte[] source, int index);

这些函数是有符号和无符号短、整数和长字节序的大字节序和小字节序所需要的。

以下是我制作的一些示例，但我需要评估一下优缺点：

第一种方法是使用 Marshal 将值写入 byte[] 的内存中，第二种方法是使用普通指针来完成此操作，第三种方法是使用 BitConverter 和 BlockCopy 来完成此操作

unsafe void Set(byte[] target, int index, int value)
{
    fixed (byte* p = &target[0])
    {
        Marshal.WriteInt32(new IntPtr(p), index, value);
    }
}

unsafe void Set(byte[] target, int index, int value)
{
    int* p = &value;
    for (int i = 0; i < 4; i++)
    {
        target[offset + i] = *((byte*)p + i);
    }
}

void Set(byte[] target, int index, int value)
{
    byte[] data = BitConverter.GetBytes(value);
    Buffer.BlockCopy(data, 0, target, index, data.Length);
}

这里是读取/获取方法：

第一个是使用 Marshal 从 byte[] 读取值，第二个是使用普通指针，第三个是再次使用 BitConverter：

unsafe int Get(byte[] source, int index)
{
    fixed (byte* p = &source[0])
    {
        return Marshal.ReadInt32(new IntPtr(p), index);
    }
}

unsafe int Get(byte[] source, int index)
{
    fixed (byte* p = &source[0])
    {
        return *(int*)(p + index);
    }
}

unsafe int Get(byte[] source, int index)
{
    return BitConverter.ToInt32(source, index);
}

需要进行边界检查，但还不是我的问题的一部分...

如果有人能告诉我在这种情况下什么是最好和最快的方法，或者给我一些其他解决方案，我会很高兴。一个通用的解决方案会更好

---

我刚刚做了一些性能测试，结果如下：

设置元帅：45 毫秒，设置指针：48 毫秒，设置 BitConverter：71 毫秒 获取 Marshal：45 毫秒，获取指针：26 毫秒，获取 BitConverter：30 毫秒

似乎使用指针是快速的方法，但我认为 Marshal 和 BitConverter 会进行一些内部检查...有人可以验证吗？

Answer 1

重要提示：如果您只需要一个字节序，请参阅 wj32 / dtb 的指针魔法

---

就我个人而言，我会直接写入Stream（可能带有一些缓冲），并重新使用我通常认为是干净的共享缓冲区。然后你可以做一些捷径，假设索引为 0/1/2/3。

当然不要使用BitConverter，因为它不能用于您需要的小端/大端。我也倾向于只使用位移而不是不安全等。它实际上是最快的，基于以下（所以我很高兴这就是我的代码here，寻找@987654324 @):

Set1: 371ms
Set2: 171ms
Set3: 993ms
Set4: 91ms <==== bit-shifting ;-p

代码：

using System;
using System.Diagnostics;
using System.Runtime.InteropServices;
static class Program
{
    static void Main()
    {
        const int LOOP = 10000000, INDEX = 100, VALUE = 512;
        byte[] buffer = new byte[1024];
        Stopwatch watch;

        watch = Stopwatch.StartNew();
        for (int i = 0; i < LOOP; i++)
        {
            Set1(buffer, INDEX, VALUE);
        }
        watch.Stop();
        Console.WriteLine("Set1: " + watch.ElapsedMilliseconds + "ms");

        watch = Stopwatch.StartNew();
        for (int i = 0; i < LOOP; i++)
        {
            Set2(buffer, INDEX, VALUE);
        }
        watch.Stop();
        Console.WriteLine("Set2: " + watch.ElapsedMilliseconds + "ms");

        watch = Stopwatch.StartNew();
        for (int i = 0; i < LOOP; i++)
        {
            Set3(buffer, INDEX, VALUE);
        }
        watch.Stop();
        Console.WriteLine("Set3: " + watch.ElapsedMilliseconds + "ms");

        watch = Stopwatch.StartNew();
        for (int i = 0; i < LOOP; i++)
        {
            Set4(buffer, INDEX, VALUE);
        }
        watch.Stop();
        Console.WriteLine("Set4: " + watch.ElapsedMilliseconds + "ms");

        Console.WriteLine("done");
        Console.ReadLine();
    }
    unsafe static void Set1(byte[] target, int index, int value)
    {
        fixed (byte* p = &target[0])
        {
            Marshal.WriteInt32(new IntPtr(p), index, value);
        }
    }

    unsafe static void Set2(byte[] target, int index, int value)
    {
        int* p = &value;
        for (int i = 0; i < 4; i++)
        {
            target[index + i] = *((byte*)p + i);
        }
    }

    static void Set3(byte[] target, int index, int value)
    {
        byte[] data = BitConverter.GetBytes(value);
        Buffer.BlockCopy(data, 0, target, index, data.Length);
    }
    static void Set4(byte[] target, int index, int value)
    {
        target[index++] = (byte)value;
        target[index++] = (byte)(value >> 8);
        target[index++] = (byte)(value >> 16);
        target[index] = (byte)(value >> 24);
    }
}

Answer 2

使用 Marc Gravell 的 Set1 到 Set4 和下面的 Set5，我在我的机器上得到以下数字：

Set1: 197ms
Set2: 102ms
Set3: 604ms
Set4: 68ms
Set5: 55ms <==== pointer magic ;-p

代码：

unsafe static void Set5(byte[] target, int index, int value)
{
    fixed (byte* p = &target[index])
    {
        *((int*)p) = value;                
    }
}

---

当然，当字节数组不固定在每次迭代中而只固定一次时，它会快得多：

Set6: 10ms (little endian)
Set7: 85ms (big endian)

代码：

if (!BitConverter.IsLittleEndian)
{
    throw new NotSupportedException();
}

watch = Stopwatch.StartNew();
fixed (byte* p = buffer)
{
    for (int i = 0; i < LOOP; i++)
    {
        *((int*)(p + INDEX)) = VALUE;
    }
}
watch.Stop();
Console.WriteLine("Set6: " + watch.ElapsedMilliseconds + "ms");

watch = Stopwatch.StartNew();
fixed (byte* p = buffer)
{
    for (int i = 0; i < LOOP; i++)
    {
        *((int*)(p + INDEX)) = System.Net.IPAddress.HostToNetworkOrder(VALUE);
    }
}
watch.Stop();
Console.WriteLine("Set7: " + watch.ElapsedMilliseconds + "ms");

Answer 3

指针是要走的路。使用 fixed 关键字固定对象非常便宜，并且可以避免调用 WriteInt32 和 BlockCopy 等函数的开销。对于“通用解决方案”，您可以简单地使用 void* 并使用您自己的 memcpy （因为您正在处理少量数据）。但是指针不适用于真正的泛型。

Answer 4

您应该对代码进行一些分析，以揭示这是否是瓶颈。还查看您的代码，您似乎正在使用 .Net 函数调用将一个字节写入非托管数组，涉及内存上的引脚和对不安全代码的调用...

您可能最好声明一个 .Net System.IO.MemoryStream 并寻找和写入它，尽可能使用流编写器来推送您的更改，这应该使用更少的函数调用并且不需要不安全代码。如果您正在做诸如 DSP 之类的事情，您会发现指针在 C# 中更有用，您需要对数组中的每个值执行单个操作等。

编辑： 我还要提一下，根据您所做的事情，您可能会发现 CPU 缓存会生效，如果您可以继续处理适合缓存的单个小内存区域，那么您最终将获得最佳性能。