【问题标题】:Conversion in .net: Native Utf-8 <-> Managed String.net 中的转换:原生 Utf-8 <-> 托管字符串
【发布时间】:2012-06-02 03:49:12
【问题描述】:

我创建了这两种方法来将原生 utf-8 字符串 (char*) 转换为托管字符串,反之亦然。以下代码完成了这项工作:

public IntPtr NativeUtf8FromString(string managedString)
{
    byte[] buffer = Encoding.UTF8.GetBytes(managedString); // not null terminated
    Array.Resize(ref buffer, buffer.Length + 1);
    buffer[buffer.Length - 1] = 0; // terminating 0
    IntPtr nativeUtf8 = Marshal.AllocHGlobal(buffer.Length);
    Marshal.Copy(buffer, 0, nativeUtf8, buffer.Length);
    return nativeUtf8;
}

string StringFromNativeUtf8(IntPtr nativeUtf8)
{
    int size = 0;
    byte[] buffer = {};
    do
    {
        ++size;
        Array.Resize(ref buffer, size);
        Marshal.Copy(nativeUtf8, buffer, 0, size);
    } while (buffer[size - 1] != 0); // till 0 termination found

    if (1 == size)
    {
        return ""; // empty string
    }

    Array.Resize(ref buffer, size - 1); // remove terminating 0
    return Encoding.UTF8.GetString(buffer);
}

虽然 NativeUtf8FromString 没问题,但 StringFromNativeUtf8 是一团糟,但我可以运行的唯一安全代码。使用不安全的代码我可以使用一个字节*,但我不想要不安全的代码。是否有人可以想到另一种方法,我不必为每个包含的字节复制字符串来找到 0 终止符。


我只是在这里添加未保存的代码:

public unsafe string StringFromNativeUtf8(IntPtr nativeUtf8)
{
    byte* bytes = (byte*)nativeUtf8.ToPointer();
    int size = 0;
    while (bytes[size] != 0)
    {
        ++size;
    }
    byte[] buffer = new byte[size];
    Marshal.Copy((IntPtr)nativeUtf8, buffer, 0, size);
    return Encoding.UTF8.GetString(buffer);
}

正如您所见,它并不丑陋,只是需要不安全。

【问题讨论】:

  • 你为什么关心不使用unsafe代码?
  • @CodelnChaos:不确定。因为 Procect 必须激活 /unsafe 开关,这让我觉得很脏。
  • /unsafe 开关毫无意义。 Marshal.* 与指针代码一样不安全,即使它不需要开关。
  • @CodelnChaos:我完全同意编组与指针代码一样不安全,但我认为值得提出一个问题。也许有一个我只是没有找到的简单解决方案。
  • @CodesInChaos:当然 /unsafe 意味着您可以破坏 CLR,而 Marshal 不会让您这样做?

标签: c# string utf-8 marshalling native


【解决方案1】:

Marshal.PtrToStringUTF8 和 Marshal.StringToCoTaskMemUTF8 已添加到 .NET 5(.NET Standard 2.1)中

【讨论】:

    【解决方案2】:

    比 Hans 的解决方案略快(少 1 个缓冲区副本):

    private unsafe IntPtr AllocConvertManagedStringToNativeUtf8(string input) {
        fixed (char* pInput = input) {
            var len = Encoding.UTF8.GetByteCount(pInput, input.Length);
            var pResult = (byte*)Marshal.AllocHGlobal(len + 1).ToPointer();
            var bytesWritten = Encoding.UTF8.GetBytes(pInput, input.Length, pResult, len);
            Trace.Assert(len == bytesWritten);
            pResult[len] = 0;
            return (IntPtr)pResult;
        }
    }
    
    private unsafe string MarshalNativeUtf8ToManagedString(IntPtr pStringUtf8)
        => MarshalNativeUtf8ToManagedString((byte*)pStringUtf8);
    
    private unsafe string MarshalNativeUtf8ToManagedString(byte* pStringUtf8) {
        var len = 0;
        while (pStringUtf8[len] != 0) len++;
        return Encoding.UTF8.GetString(pStringUtf8, len);
    }
    

    这是我对字符串进行往返的演示:

    var input = "Hello, World!";
    var native = AllocConvertManagedStringToNativeUtf8(input);
    var copy = MarshalNativeUtf8ToManagedString(native);
    Marshal.FreeHGlobal(native); // don't leak unmanaged memory!
    Trace.Assert(input == copy); // prove they're equal!
    

    【讨论】:

    • 假设你有一个有效的Unicode字符串input,那么len == bytesWritten上的Assert永远不会失败,对吗?如果这是真的,那么您可以通过使用input.Length * 4 + 1 字节过度分配来加快速度。 GetBytes 将告诉您实际的字节长度,而无需解析整个字符串两次(GetByteCount 然后GetBytes)。
    【解决方案3】:

    只需执行与 strlen() 完全相同的操作即可。请考虑保留 缓冲区,代码确实会很快产生垃圾。

        public static IntPtr NativeUtf8FromString(string managedString) {
            int len = Encoding.UTF8.GetByteCount(managedString);
            byte[] buffer = new byte[len + 1];
            Encoding.UTF8.GetBytes(managedString, 0, managedString.Length, buffer, 0);
            IntPtr nativeUtf8 = Marshal.AllocHGlobal(buffer.Length);
            Marshal.Copy(buffer, 0, nativeUtf8, buffer.Length);
            return nativeUtf8;
        }
    
        public static string StringFromNativeUtf8(IntPtr nativeUtf8) {
            int len = 0;
            while (Marshal.ReadByte(nativeUtf8, len) != 0) ++len;
            byte[] buffer = new byte[len];
            Marshal.Copy(nativeUtf8, buffer, 0, buffer.Length);
            return Encoding.UTF8.GetString(buffer);
        }
    

    【讨论】:

    • 字节[] 缓冲区 = 新字节[len - 1];应该是 byte[] buffer = new byte[len];
    • 但是您的代码包括到 len 到(但不包括)到空终止符。所以 len 包含没有空终止符的字符数。
    • 我可以发誓我测试过这个。一个接一个的错误很糟糕。谢谢。
    • @HansPassant:文档说 Encoding.UTF8 插入了一个 BOM。这不是问题吗?
    猜你喜欢
    • 2011-12-18
    • 1970-01-01
    • 1970-01-01
    • 2013-07-22
    • 2014-07-11
    • 2013-03-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多