BASH 如何使用 jq 提高 JSON 解析的性能

Question

上下文：我有一个场景，我需要将备份从一个系统复制到另一个系统。我希望备份列表是可配置的，所以我在脚本本身中使用了 JSON 方法。

该列表包含密钥（要在输出中显示的备份名称）、用于 ssh 的用户以及从中获取备份的路径。

例子：

backups_to_perform='[
  {
    "key": "key1",
    "user": "user1",
    "path": "path1"
  },
  {
    "key": "key2",
    "user": "user2",
    "path": "path2"
  },
  {
    "key": "key3",
    "user": "user3",
    "path": "path3"
  },
]'

我使用 JSON 的原因是我希望有一个类似于 python 字典的结构，因为关联数组只能有key:pair，而不是key{key:pair; key:pair}（如果我错了，请纠正我)

这就是我解析 JSON 的方式：

  while read -r backup; do
    IFS=, read -r key user path <<<"$(jq -cr '"\(.key),\(.user),\(.path)"' <<<"$backup")"
    rsync_backup "$key" "$user" "$path"
  done < <(jq -cr '.[]' <<<"$backups_to_perform")

rsync_backup 只是一个执行 rsync 的函数，它接受这些参数。

可能有更好的解决方案来实现我想要的备份副本，但我想改进这种类型的代码，以便下次更好地应用它。

我的问题是，当 JSON 很大时，这似乎需要一些时间（我已经为这篇文章减少了 3 个）。看起来我解析 JSON 的方式非常复杂，但我无法让它以任何其他方式工作。

我调用jq 一次来提供循环，然后在每次迭代中再次调用它可能很糟糕。

Answer 1

更新

需要考虑的几点：

• 您可以避免在while 循环内使用jq：

#!/bin/bash

while IFS=',' read -r key user path
do
#   rsync_backup "$key" "$user" "$path"
    echo "key=$key user=$user path=$path"
done < <(
    jq -cr '.[] | "\(.key),\(.user),\(.path)"' <<< "$backups_to_perform"
)

• 您应该防止在 JSON 中出现会导致 null 值的拼写错误（例如，如果您输入的是 "usr": 而不是 "user":）。

• 您应该允许在"key": 和"user": 中使用逗号，以及在"path": 中使用任何字符（NULL BYTE 除外）。

---

考虑到所有这些，我会选择 TSV 格式作为jq 输出：

#!/bin/bash

# safety check
if $(jq 'any(.[]; .key and .user and .path | not)' <<< "$backups_to_perform")
then
    jq -c '.[] |select(.key and .user and .path |not)' <<< "$backups_to_perform" |
    awk -v prefix="[WARNING] missing attribute in record: " '{print prefix $0}'
fi

# doing the backups
while IFS=$'\t' read -r key user path
do
    # unescape TSV values
    printf -v key  %b "$key"
    printf -v user %b "$user"
    printf -v path %b "$path"
#   rsync_backup "$key" "$user" "$path"
    echo "key=$key user=$user path=$path"
done < <(
    jq -r '.[] | select(.key and .user and .path) | [.key,.user,.path] | @tsv' <<< "$backups_to_perform"
)

你可以用这个输入来测试它：

IFS='' read -r -d '' backups_to_perform <<'EOJ'
[
  {
    "__comment__": "comma in key value",
    "key": "key,1",
    "user": "user1",
    "path": "path1"
  },
  {
    "__comment__": "newline in key value",
    "key": "key\n2",
    "user": "user2",
    "path": "path2"
  },
  {
    "__comment__": "mispelled user attribute",
    "key": "key3",
    "usr": "user3",
    "path": "path3"
  },
  {
    "__comment__": "path containing ascii range [0x01-0x7f]",
    "key": "key4",
    "user": "user4",
    "path": "\u0001\u0002\u0003\u0004\u0005\u0006\u0007\b\t\n\u000b\f\r\u000e\u000f\u0010\u0011\u0012\u0013\u0014\u0015\u0016\u0017\u0018\u0019\u001a\u001b\u001c\u001d\u001e\u001f !\"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\\]^_`abcdefghijklmnopqrstuvwxyz{|}~\u007f"
  }
]
EOJ