如何在 jq 的“join”功能中使用非显示字符，如换行符 (\n) 和制表符 (\t)

Question

我在互联网上的任何地方都找不到这个，所以我想把它添加为文档。

我想在非显示字符\30（“RecordSeparator”）周围加入一个 json 数组，这样我就可以在 bash 中安全地迭代它，但我不知道该怎么做。我尝试了echo '["one","two","three"]' | jq 'join("\30")' 和几个排列组合，但没有成功。

原来解决方案很简单....（见答案）

Answer 1

使用jq -j 消除记录之间的文字换行符并仅使用您自己的分隔符。这适用于您的简单情况：

#!/usr/bin/env bash
data='["one","two","three"]'
sep=$'\x1e' # works only for non-NUL characters, see NUL version below
while IFS= read -r -d "$sep" rec || [[ $rec ]]; do
  printf 'Record: %q\n' "$rec"
done < <(jq -j --arg sep "$sep" 'join($sep)' <<<"$data")

...但它也适用于幼稚答案失败的更有趣的场景：

#!/usr/bin/env bash
data='["two\nlines","*"]'
while IFS= read -r -d $'\x1e' rec || [[ $rec ]]; do
  printf 'Record: %q\n' "$rec"
done < <(jq -j 'join("\u001e")' <<<"$data")

返回（在 Cygwin 上运行时，因此是 CRLF）：

Record: $'two\r\nlines'
Record: \*

---

也就是说，如果在愤怒中使用它，我建议使用 NUL 分隔符，并将它们从输入值中过滤掉：

#!/usr/bin/env bash
data='["two\nlines","three\ttab-separated\twords","*","nul\u0000here"]'
while IFS= read -r -d '' rec || [[ $rec ]]; do
  printf 'Record: %q\n' "$rec"
done < <(jq -j '[.[] | gsub("\u0000"; "@NUL@")] | join("\u0000")' <<<"$data")

NUL 是一个不错的选择，因为它是一个字符，而不是 不能存储在 C 字符串中（就像 bash 使用的那样），因此可以存储的数据范围没有损失当它们被删除时忠实地传达——如果它们确实进入了 shell，它会（取决于版本）要么丢弃它们，要么在第一次出现时截断字符串。

Answer 2

解决问题的推荐方法是使用 -c 命令行 选项，例如如下：

echo "$data" | jq -c '.[]' |
while read -r rec
do
    echo "Record: $rec"
done

输出：

Record: "one"
Record: "two"
Record: "three"

OP 提出的答案存在问题

OP基于$'\30'的回答中的提案有几个问题

首先，它不能可靠地工作，例如在 Mac 上使用 bash 输出为：Record: "one\u0018two\u0018three"； 这是因为 jq 正确地将八进制 30 转换为 \u0018 在 JSON 字符串中。

第二，RS是ASCII十进制30，即八进制36，即 在 shell 中将写为$'\36'。 如果您改用此值，则程序会生成： Record: "one\u001etwo\u001ethree" 因为那是 带有嵌入 RS 字符的正确 JSON 字符串。 （记录$'\30'是Control-X。）

第三，正如 Charles Duffy 所说，“$(...) 中的 for rec 本质上是错误的。”

第四，任何假设 jq 将来都会接受的方法 非法 JSON 字符串在某种意义上是脆弱的 将来，jq 可能会禁止它们或至少需要命令行 切换以允许它们。

第五，unset IFS 不保证能提前将 IFS 恢复到它的状态。

Answer 3

当与--seq 命令行选项一起使用时，jq 中的 RS 字符是特殊的。例如，将 JSON 数组存储在名为 data 的 shell 变量中，我们可以按如下方式调用 jq：

$ jq -n --seq --argjson arg '[1,2]' '$arg | .[]'

这是一个成绩单：

$ data='["one","two","three"]'
$ jq -n --seq --argjson arg "$data" '$arg | .[]' | tr $'\36' X
X"one"
X"two"
X"three"
$

Answer 4

您只需使用 bash 的 $'\30' 语法在行内插入特殊字符，如下所示：echo '["one","two","three"]' | jq '. | join("'$'\30''")'。

这是整个工作示例：

data='["one","two","three"]'

IFS=$'\30'
for rec in $(echo "$data" | jq '. | join("'$'\30''")'); do
    echo "Record: $rec"
done
unset IFS

打印出来

Record: one
Record: two
Record: three

正如预期的那样。

注意：不要在 for 循环中引用子shell，这一点很重要。如果您引用它，它将被视为单个参数，而不管 RecordSeparator 字符如何。如果您不引用它，它将按预期工作。