【问题标题】:Binary data being mangled when transfered in string between functions在函数之间以字符串形式传输时二进制数据被破坏
【发布时间】:2017-07-22 09:49:51
【问题描述】:

希望这是一个可以轻松解决的小问题。

我试图将二进制文件的内容从一个位置移动到另一个位置,但有一点不同:我需要将它作为字符串传输,而这就是文件最终与源文件有点不同的地方。

通过字符串传输它的原因是加载文件的代码和保存文件的代码仅通过主机进行通信(这是一个 C# MEF 应用程序),接口迫使我通过一个字符串,没有别的。

所以我正在做的是这个(伪'ish,只保留核心功能):

// This part loads a binary file

string output = string.Empty; // The data to be transfered
byte[] fileContent; // The binary file content

fileContent = File.ReadAllBytes(fileName);

output = Encoding.Default.GetString(fileContent);
//output = Convert.ToBase64String(fileContent);
//output = Encoding.UTF7.GetString(fileContent);
//output = Encoding.UTF8.GetString(fileContent);
//output = Encoding.UTF32.GetString(fileContent);
//output = Encoding.ASCII.GetString(fileContent);
//output = Encoding.BigEndianUnicode.GetString(fileContent);
//output = Encoding.Unicode.GetString(fileContent);

然后字符串被转移到它的目标部分:

// This part saves a binary file

string input; // This is the data recieved
byte[] content = Encoding.Unicode.GetBytes(input);

File.WriteAllBytes("c:\test.png", content);

目标文件现在与源文件有点不同,如果我用适当的工具查看文件,就会有一个字节。我在发送部分使用的编码效果最好的是 Unicode。

我在这里缺少什么?

【问题讨论】:

  • 取决于字符串在传输过程中的编码/解码方式。这是什么,http?肥皂?平台和接口独立性的最佳猜测可能是使用 base64 进行传输。
  • 一件事有两种不同的编码(Encoding.Default 和 Encoding.Unicode)。但除此之外,您为什么首先要转换为字符串?为什么不将数据作为字节数组来回传递呢?如果您确实需要将数据作为字符串来回传递,您可能应该考虑使用 Base64。
  • 字符串不能存储任意二进制数据。如果您仍然尝试,那么您将看到在 Unicode 中没有相应字形的字节编码的副作用(产生 0x3f 或 0xfffd)、规范化规则(随机损坏)以及 2 个字节碰巧匹配时偶尔出现的硬崩溃一个代理人。只有 Convert.ToBase64String() 才能让你远离麻烦。
  • @HansPassant 我在答案中给出的示例似乎有效。有没有我遗漏的隐藏问题? (除此之外我只在本地测试过,没有跨界)
  • 当然,无论你如何(可靠地)生成字符串,发送者和接收者都必须以相同但相反的方式进行处理。我假设你控制了两者。重复,Convert.ToBase64String() 将任何字符编码问题保留在通信通道中。

标签: c# .net io


【解决方案1】:

就像 cmets 中所说,最安全的选择是使用 Base-64。但是如果你想要更高一点的效率,任何简单的没有间隙的 8 位编码都应该可以工作,只要你使用相同的编码来解码它。简单地说,我的意思不是任何 Unicode 多字节编码。而且我相信 ASCII 也不会工作,因为它是 7 位的。

效率注意事项:每个字节实际上存储在 2 个字节中,因为 C# 中的字符串在内部以 unicode 存储。但是对于 Base-64,二进制文件的每 3 个字节使用 8 个字节。

我尝试使用 Encoding.GetEncoding(437) 并在本地系统上运行:

var b = new byte[256];
for (int i = 0; i < 256; i++)
    b[i] = (byte)i;

var encoding = System.Text.Encoding.GetEncoding(437);
var s = encoding.GetString(b);
var b2 = encoding.GetBytes(s);

for (int i = 0; i < 256; i++)
    if (b2[i] != i)
        Console.WriteLine("Error at " + i);

【讨论】:

  • 一些简单的 8 位编码存在间隙,因此可能会出现编码问题。
  • @JonHanna 你是对的,将其添加到答案中。这就是为什么我使用 437 而不是 ISO_8859-1,这似乎有差距。
  • .NET 将“ISO 8859-1”表示为 IANA 注册的 ISO-8859-1,即 ISO_8859-1:1987,它用 CO 和 C1 控制代码填补了所有这些空白(并且用于每个字符代码点与八位字节值相同),所以实际上Encoding.GetEncoding("iso-8859-1").GetChars(Enumerable.Range(0, 256).Select(i =&gt; (byte)i).ToArray()).Select(c =&gt; (int)c).SequenceEqual(Enumerable.Range(0, 256)) 返回 true,使其最易于使用。不过,旧形式的 8859-1 就是一个很好的例子,说明它在哪里不起作用。
  • 是的,主要技巧当然是(!)在两端使用 Base-64。我习惯于在 web-aps 中使用 Base-64 在 web/services/documents 之间安全地发送数据,但不认为这是在将数据放入字符串之前我必须做的第一件事。但现在想起来,也有道理。感谢您的帮助,我真的很感激!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2021-10-26
  • 2011-09-04
  • 2012-05-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多