如何解析具有不一致数据类型的 JSON？

Question

我需要从具有以下结构的JSON 文件创建csv 报告（尽可能简化）：

{
  "data": [
    {
      "id": "123",
      "foo": {
        "item": {
          "value": "foo_good",
          "bar_id": "1"
        }
      },
      "bar": {
        "item": {
          "id": "1",
          "value": "bar_value_1a"
        }
      },
      "var": {
        "item": {
          "value": "var_value_1a",
          "bar_id": "1"
        }
      }
    },
    {
      "id": "456",
      "foo": {
        "item": [
          {
            "value": "foo_bad",
            "bar_id": "1"
          },
          {
            "value": "foo_good",
            "bar_id": "2"
          },
          {
            "value": "foo_good",
            "bar_id": "2"
          },
          {
            "value": "foo_bad",
            "bar_id": "3"
          },
          {
            "value": "foo_good",
            "bar_id": "4"
          }
        ]
      },
      "bar": {
        "item": [
          {
            "id": "1",
            "value": "bar_value_2a"
          },
          {
            "id": "2",
            "value": "bar_value_2b"
          },
          {
            "id": "3",
            "value": "bar_value_2c"
          },
          {
            "id": "4",
            "value": "bar_value_2d"
          }
        ]
      },
      "var": {
        "item": [
          {
            "value": "var_value_2a",
            "bar_id": "1"
          },
          {
            "value": "var_value_2b",
            "bar_id": "2"
          },
          {
            "value": "var_value_2c",
            "bar_id": "3"
          },
          {
            "value": "var_value_2d",
            "bar_id": "4"
          }
        ]
      }
    }
  ]
}

---

数据结构：

1. foo.item 和 var.item 连接到 bar.item 和 bar_id
2. 一个或多个foo.item指向一个bar.item
3. 多个foo.item指向同一个bar.item将有相同的foo.item.value
4. 恰好一个var.item指向一个bar.item
5. 所有项目均按bar_id排序
6. 格式不一致。如果只有一项，bar.item 是一个对象，否则它是一个数组（也适用于 foo.item 和 var.item）
7. 我被这种格式卡住了

输出报告：

1. 处理所有data对象
2. 为每个不具有任何对应foo.item 且值为foo_bad 的bar.item 创建报告
3. 输出格式：.id, .bar.item.value, .var.item.value

---

我的尝试：

我目前使用的临时 jq 脚本丢弃了多个 bar.item 等，并仅创建了对真实数据的估计：

.data[]
| .foo.item |= if type=="array" then .[0] else . end
| .bar.item |= if type=="array" then .[0] else . end
| .var.item |= if type=="array" then .[0] else . end
| select(.foo.item.value != "foo_bad")
| [.id,.bar.item.value,.var.item.value]
| @csv

输出如下：

"123","bar_value_1a","var_value_1a"

---

期望的输出：

"123","bar_value_1a","var_value_1a"
"456","bar_value_2b","var_value_2b"
"456","bar_value_2d","var_value_2d"

我更喜欢使用jq，尽管我并不坚持。

Answer 1

我建议您首先确保 .foo.item、.bar.item 和 .var.item 始终是数组。这可以使用以下辅助函数来完成：

def w: if type=="array" then . else [.] end;

您的 jq 过滤器将如下开始：

.data[]
| .foo.item |= w
| .bar.item |= w
| .var.item |= w

接下来你要做什么取决于你想对所有这些数组做什么，但我已经验证了以下会产生你想要的结果：

.data[]
| .foo.item |= w
| .bar.item |= w
| .var.item |= w
| range(0; .foo.item | length) as $i
| select(.foo.item[$i].value != "foo_bad")
| select(.bar.item[$i].value)
| [.id,.bar.item[$i].value,.var.item[$i].value]
| @csv