JQ 无法解析 Unicode 表情符号字符。它是有效的 JSON 吗？

Question

我有一个 JSON 文件，其中包含来自 Clojure 的 data.json 库的 JSON。数据来自人们似乎经常微笑的 Twitter。

$ cat /tmp/myfile | jq .

我明白了：

parse error: Invalid \uXXXX\uXXXX surrogate pair escape at line 1, column 14862268

违规部分是：

$ cut -c 14862258-14862269 /tmp/2017-02-23-2
79-7\ud83d",

所以，这个转义码是在一个真实的 JSON 文件中找到的，JQ 无法读取它。

echo '"\ud83d"' | jq .

Fileformat.info seems to suggest 应该成对出现：

SMILING FACE WITH OPEN MOUTH
"\uD83D\uDE03"

1. 这真的是在 JSON 文件中查找的无效字符吗？我的 JSON 在技术上是否无效？

2. 是否有一个简单的实用程序可以通过管道传输数据以在 JQ 之前去除这些字符？或者我可以让JQ放松一下解释吗？

Answer 1

JSON specification 说：

字符串是零个或多个 Unicode 字符 [UNICODE] 的序列。

从这个意义上说，字符串“\ud83d”不是有效的 JSON ("+UD83D is not a valid Unicode character")，即使它符合 JSON ABNF。正如标准文档继续说的那样，字符串规范和 ABNF 之间存在差异：

本规范中的 ABNF 允许成员名称和 包含无法编码 Unicode 的位序列的字符串值 人物;例如，“\uDEAD”（一个未配对的 UTF-16 代理）。已经观察到这种情况，例如，当 库截断 UTF-16 字符串而不检查是否 截断拆分代理对。软件的行为 接收包含此类值的 JSON 文本是不可预测的...

所以可以这么说：

1. "\uD83D" 不是严格有效的 JSON，即使它符合 ABNF；

2. jq 在此拥有其权利；

3. jsonlint 接受“\uD83D”是错误的。

“...去掉这些字符”

参见例如How to remove non UTF-8 characters from text file

Answer 2

肯定是有效的json，但是代码单元D83D本身是无效的。请记住，jq 不仅仅是解释 json，它还试图获取它的值。所以这不再只是存储在 json 中的字符流，一旦被 jq 消费，它是一个具有确定值的字符串。

该值是一个高替代值，它必须成对出现，而您的输入显然没有。因此，文件中编码的字符串虽然是有效的 json，但并不代表 jq 试图解析成的有效 unicode 字符串。

如果您希望能够使用 jq 解析它，则需要检查您的 json 并完成配对。

---

如果您至少可以确保它是有效的 json，那么您可能可以使用正则表达式扫描数据以搜索不匹配的代理项。像这样的：

\\u[Dd][89ABab][0-9A-Fa-f]{2}(?!\\u[Dd][C-Fc-f][0-9A-Fa-f]{2})
|
(?<!\\u[Dd][89ABab][0-9A-Fa-f]{2})\\u[Dd][C-Fc-f][0-9A-Fa-f]{2}

然后你可以去掉它们或者对丢失的代理做一个最好的猜测。