jq 根据另一个属性的长度选择属性值并将该值存储在文本文件中

Question

我正在使用 jq 并希望根据另一个数组不为空的条件从大型 json 文件中选择属性的值。如果那是空的，那么我们应该忽略该值并检查下一个属性，依此类推。我们还希望将所有满足非空数组条件的值存储到一个文本文件中，每行一个值且不加引号。

例如，我有一个大型 json 文件（16+ GB），其中包含 200k 以及以下条目：

{"one": "Some string", "two": "A", "three": []}
{"one": "Some string", "two": "B", "three": [{"a": 1,"b": 2}]}
{"one": "Some string", "two": "C", "three": []}

具体来说，我想选择只有那些 "two" 属性的值，其中数组"three" 的值不为空。因此，在上面的示例中，应该只返回值 "B"，而应该忽略所有其他值。我还需要将返回的所有此类值（如上述情况中的 "B" ）存储到一个文本文件中，每行一个且不加引号。

似乎无法弄清楚该怎么做。非常感谢您的帮助。

Answer 1

很遗憾，最初在 Q 中显示的输入不是有效的 JSON，因此如果要以直接方式使用 jq，则必须进行一些更改或更正。

假设已经进行了这些更改，以下说明了一种避免“破坏”输入的有效方法：

调用：jq -rnf program.jq input.json

[inputs | select(.three != []) | .two] | unique[]

这会产生不同的值，排序。

另一种选择

上述解决方案涉及将所有相关的 .two 值收集到一个数组中。如果不满意， 一种替代方法是将相关 .two 值的流通过管道传输到sort：

< input.json jq -rn 'inputs | select(.three != []) | .two' | sort -u > two.txt

Answer 2

如果输入文件很大，您应该一个接一个地处理元素，而不是使用--slurp 一次将它们读入一个数组并一起处理它们。否则可能会出现内存问题。

修正输入

{"one": "Some string", "two": "A", "three": []}
{"one": "Some string", "two": "B", "three": [{"a": 1},{"b": 2}]}
{"one": "Some string", "two": "C", "three": []}

命令

jq -r 'select(.three | length > 0) | .two' < file_in.json > file_out.json

输出

B 

Answer 3

你可以这样做（见playground）：

jq --raw-output 'if (.three | length > 0) then .two else empty end'

并将输出重定向到文件：

jq --raw-output 'if (.three | length > 0) then .two else empty end' > outfile

这假定输入有效，因此操场示例使用字符串数组。