为什么将字符串保存到文件的方式会影响结果

Question

我在将包含德语字母的字符串保存到 txt 文件时遇到了问题。 MCVE 如下所示：

procedure TForm1.Button1Click(Sender: TObject);
var
  s: string; //alias for UnicodeString 
  tf: textfile;
  ms: tmemorystream;
begin
  s := 'ßüÜöÖäÄФфшШ';
  assignfile(tf, 'b:\tmp.txt');
  Rewrite(tf);
  write(tf, s);
  closefile(tf);
  ms := tmemorystream.Create;
  try
    ms.WriteBuffer(Pointer(s)^, Length(s) * SizeOf(s[Low(s)]));
    ms.Position := 0;
    ms.SaveToFile('b:\tmp2.txt');
  finally
    ms.Free;
  end;
end;

如果字符串直接保存到文件中，我们会得到以下信息：tmp.txt – ?uUoOaAФфшШ。尽管西里尔字母仍然存在，但德语字母已更改。如果字符串由 TMemoryStream 保存，则结果是正确的：tmp2.txt – ßüÜöÖäÄФфшШ。这是什么原因？

附加

我决定为以不同方式保存的给定字符串添加 HEX 值：

对于Write 方法：

data: array[0..10] of byte = (
    $3F, $75, $55, $6F, $4F, $61, $41, $D4, $F4, $F8, $D8
);

对于在AssignFile(tf, 'b:\tmp.txt',CP_UTF8); 之后调用的Write 方法：

data: array[0..21] of byte = (
    $C3, $9F, $C3, $BC, $C3, $9C, $C3, $B6, $C3, $96, $C3, $A4, $C3, $84, $D0, $A4, 
    $D1, $84, $D1, $88, $D0, $A8
);

对于TMemoryStream：

data: array[0..21] of byte = (
    $DF, $00, $FC, $00, $DC, $00, $F6, $00, $D6, $00, $E4, $00, $C4, $00, $24, $04, 
    $44, $04, $48, $04, $28, $04
);

对于TStringList：

data: array[0..27] of byte = (
        $FF, $FE, $DF, $00, $FC, $00, $DC, $00, $F6, $00, $D6, $00, $E4, $00, $C4, $00, 
        $24, $04, $44, $04, $48, $04, $28, $04, $0D, $00, $0A, $00
    );

附加

根据@Remy-Lebeau 的宝贵建议： 此方法生成一个 25 字节长的文件。这与在AssignFile(tf, 'b:\tmp.txt',CP_UTF8); 之后调用的 Write 方法生成的 HEX 类似，额外增加了 3 个字节（BOM？）。

data: array[0..24] of byte = (
    $EF, $BB, $BF, $C3, $9F, $C3, $BC, $C3, $9C, $C3, $B6, $C3, $96, $C3, $A4, $C3, 
    $84, $D0, $A4, $D1, $84, $D1, $88, $D0, $A8
);

Answer 1

要使用 Write/WriteLn 过程将 unicode 字符串存储在文本文件中，您必须首先分配正确的代码页：

AssignFile(tf, 'b:\tmp.txt',CP_UTF8);

要针对不同的语言环境保存文件，您也可以在文件中首先放置 BOM：

Write(tf, #$FEFF);  // An utf8 BOM

Answer 2

如果他们能完成这项工作，我相信他们总是使用 RTL 中的函数。在这种情况下，TStringList 以一种非常简单的方式为您解决问题：

在这个小例子中，我将一个字符串列表保存到一个文本文件并再次加载它。为了证明它有效，我在 Iøve 再次加载文本文件后添加了一个 Assert 测试。

所以不需要使用MemoryStream 和关于BOM。使用 TStringList，因为它具有您需要的所有功能。

procedure TForm1.Button1Click(Sender: TObject);
var
  s: String;
begin
  s := 'ßüÜöÖäÄФфшШ';

  with TStringList.Create do
    try
      Text := s;
      SaveToFile('C:\aa\tmp3.txt', TEncoding.Unicode);
    finally
      free;
    end;

  with TStringList.Create do
    try
      LoadFromFile('C:\aa\tmp3.txt');
      Assert(Strings[0] = s, '');
    finally
      free;
    end;
end;

Answer 3

在这种情况下，请尝试使用TStreamWriter，例如：

procedure TForm1.Button1Click(Sender: TObject);
var
  s: string; //alias for UnicodeString 
  writer: TStreamWriter;
begin
  s := 'ßüÜöÖäÄФфшШ';
  writer := TStreamWriter.Create('b:\tmp.txt', False, TEncoding.UTF8);
  try
    writer.Write(s);
  finally
    writer.Free;
  end;
  ms := TMemoryStream.Create;
  try
    writer := TStreamWriter.Create(ms, TEncoding.UTF8);
    try
      writer.Write(s);
    finally
      writer.Free;
    end;
    ms.Position := 0;
    ms.SaveToFile('b:\tmp2.txt');
  finally
    ms.Free;
  end;
end;