Powershell 和 UTF-8

Question

我有一个用 atom 创建的 html 文件 test.html，其中包含：

Testé 编码 utf-8

当我使用 Powershell 控制台阅读时（我使用的是法语 Windows）

Get-Content -Raw test.html

我回来了：

Testé encoding utf-8

为什么重音字符不能正确打印？

Answer 1

• Atom editor 默认创建 UTF-8 文件pseudo-BOM（从跨平台的角度来看，这是正确的做法）。

  • 其他流行的跨平台编辑器，例如 Visual Studio Code 和 Sublime Text，行为方式相同。

• Windows PowerShell^[1] 仅识别 UTF-8 文件带有伪 BOM。

  • 在没有伪 BOM 的情况下，PowerShell 将文件解释为根据系统的旧 ANSI 代码页进行格式化，例如美国系统上的 Windows-1252。
    （这也是记事本使用的默认编码，它称为“ANSI”，不仅在读取文件时，而且在创建文件时也是如此。Windows PowerShell 的@987654327 同上@ / Set-Content（此编码称为Default，是实际默认值，因此无需指定）；相比之下，Out-File / > 创建 UTF-16LE-默认情况下编码文件 (Unicode)。）

因此，为了让Get-Content 在 Windows PowerShell 中正确识别 BOM-less UTF-8 文件，您必须使用 -Encoding utf8。

---

^{[1] 相比之下，跨平台的 PowerShell Core 版本值得称道默认为 UTF-8，在 cmdlet 中始终如一地读取和写入，因此它确实解释了 UTF- 8 编码文件即使没有 BOM 也能正确创建，默认情况下也会创建没有 BOM 的文件。}

Answer 2

# Created a UTF-8 Sig File 
notepad .\test.html

# Get File contents with/without -raw
cat .\test.html;Get-Content -Raw .\test.html
Testé encoding utf-8
Testé encoding utf-8

# Check Encoding to make sure
Get-FileEncoding .\test.html
utf8

如您所见，它绝对适用于 Windows 10 上的 PowerShell v5。我会仔细检查文件格式和您创建的文件的内容，因为可能引入了您的编辑器可能无法识别的字符。

如果您的 PowerShell 中没有 Get-FileEncoding 作为 cmdlet，您可以运行以下实现：

function Get-FileEncoding([Parameter(Mandatory=$True)]$Path) {
    $bytes = [byte[]](Get-Content $Path -Encoding byte -ReadCount 4 -TotalCount 4)

    if(!$bytes) { return 'utf8' }

    switch -regex ('{0:x2}{1:x2}{2:x2}{3:x2}' -f $bytes[0],$bytes[1],$bytes[2],$bytes[3]) {
        '^efbbbf'   {return 'utf8'}
        '^2b2f76'   {return 'utf7'}
        '^fffe'     {return 'unicode'}
        '^feff'     {return 'bigendianunicode'}
        '^0000feff' {return 'utf32'}
        default     {return 'ascii'}
    }
}