使用 jq 对 JSON 进行排序时如何保持 UTF-8 编码

Question

我在 Windows PowerShell 上使用 jq 1.5 按字母顺序对 JSON 文件的字段进行排序。

到目前为止，这工作得很好，但特殊字符（如 ÜÄÖüäö）不会保留在 jq 输出中。

原始文件以UTF-8编码保存：

{
  "sha": "18879fb99367924cd76d402e841155bf73c8afb3",
  "commit": {
    "author": {
    "name": "John Doe ÜÄÖ",
    "email": "john@example.com",
    "date": "2017-11-23T07:51:22Z"
    }
  }
}

这是保存为 UTF-8 的 jq 输出：

{
  "commit": {
    "author": {
      "date": "2017-11-23T07:51:22Z",
      "email": "john@example.com",
      "name": "John Doe ???"
    }
  },
  "sha": "18879fb99367924cd76d402e841155bf73c8afb3"
}

如您所见，字符 ÜÄÖ 无法识别并保存为 ???。

这就是我在 PowerShell 中使用 jq 的方式：

$json = Get-Content .\json.txt -Encoding UTF8
$jsonSorted = $json | .\jq-win64.exe --sort-keys '.'
Set-Content jsonSorted.txt -Value $jsonSorted -Encoding UTF8

Answer 1

您没有提及您使用的是哪个版本的 jq，但我强烈怀疑您遇到了一个已修复的错误。我相信最近的 UTF-8 错误是由 https://github.com/stedolan/jq/pull/1317 一月下旬。不幸的是，这意味着要进行修复，您很可能需要比 1.5 更新的 jq 版本。

由于您使用的是 Windows，我建议您查看https://github.com/stedolan/jq/wiki/Installation#windows-using-appveyor

代码页

也许更改代码页会有所帮助？在命令提示符下，首先运行chcp 以确定当前代码页；如果还不是 65001，请运行 chcp 65001。

另见https://superuser.com/questions/237081/whats-the-code-page-of-utf-8

在 Mac 上验证

$ file john-doe.json
john-doe.json: UTF-8 Unicode text

$ cat  john-doe.json
"John Doe ÜÄÖ"

$ jq --version
jq-1.5

$ jq . john-doe.json
"John Doe ÜÄÖ"

$ jqMaster --version
jq-1.5rc2-250-g239278f

$ jqMaster . john-doe.json
"John Doe ÜÄÖ"