【问题标题】:jq create output in many separate filesjq 在许多单独的文件中创建输出
【发布时间】:2019-01-16 13:21:13
【问题描述】:

给定以下 json:

    [
    {"_id":{"$oid":"6d2"},"jlo":"ΕΙ AJSB","dd":"d5f"},
    {"_id":{"$oid":"c6d3"},"jlo":"ΕΙ ALKSB","dd":"5d9"},
    {"_id":{"$oid":"b0cc6d4"},"jlo":"ΕΙ AGHTSB","dd":"1b1"},
    {"_id":{"$oid":"6d2"},"jlo":"ΕPOWΙ AJSB","dd":"d5f"},
    {"_id":{"$oid":"c6d3"},"jlo":"ΕGTΙ ALKSB","dd":"5d9"},
    {"_id":{"$oid":"b0cc6d4"},"jlo":"ΕLKΙ AGHTSB","dd":"1b1"}
    ]

我需要做的是输出 ll 元素的每个离散值,ta 的唯一值,在一个单独的文件中,以一对一的表示命名,其中每个 dd 代码都替换为人类可读的表示:

d5f:departmentone
5d9:departmentalt
1b1:departshort

期望的输出,在每行的基础上,jlo 的每个唯一值以及在每个 dd 元素中找到它的次数,所以我们最终得到这样的结果:

first file named departmentone.txt:
ΕΙ AJSB 1
ΕPOWΙ AJSB 1

second file named departmentalt.txt
ΕΙ ALKSB 1
ΕGTΙ ALKSB 1

third file named departshort.txt
ΕΙ AGHTSB 2

我已经尝试过使用 map 和 reduce、group_by、sort_by,结果非常糟糕

【问题讨论】:

    标签: json file group-by jq


    【解决方案1】:

    只需要调用一次 jq。要将输出分配给单独的文件,您可以将这一调用与对 awk 的单个调用结合起来,或者您可以使用如下所示的 shell 循环。

    首先,这里展示了 shell 管道的外观:

    jq -r --rawfile dd2name dd2name.tsv -f group.jq input.json |
      while IFS=$'\t' read -r f v ; do echo "$v" >> "$f" ; done
    

    这假定到文件名的映射位于名为 dd2name.tsv 的 TSV 文件中,并且以下 jq 程序位于 group.jq 中:

    def dict:
      split("\n") | map(select(length>0) | split("\t"))
      | INDEX(.[0]) | map_values(.[1]);
    
    ($dd2name | dict) as $dict
    | ($dict | keys_unsorted[]) as $dd
    | map(select(.dd == $dd))
    | group_by(.jlo)
    | map("\($dict[$dd])\t\(.[0].jlo) \(length)")[]
    

    顾名思义,dict 函数创建了一个字典,将 .dd 值映射到文件名。它假定INDEX 的可用性。如果你的 jq 没有INDEX,那么现在是升级你的 jq 的好时机;否则,它的 def 可以很容易地从 builtin.jq 复制(谷歌:builtin.jq "def INDEX"),或者您可以将最后一行替换为:| reduce .[] as $p ({}; .[$p[0]] = $p[1]);

    基于awk的解决方案

    可以使用以下 awk 调用来代替上面的 while ... done 命令:

    awk -F\\t 'fn && (fn!=$1) {close(fn)}; {fn=$1; print $2 >> fn}'
    

    调味

    如果 dd2name.tsv 映射文件不包含“.txt”后缀,则可以很容易地以多种方式添加,根据口味。

    还请注意,上述建议的解决方案做了一些假设,特别是 .jlo 值不包含制表符、换行符或 NUL。如果违反了这些假设中的任何一个,则需要进行一些调整。

    【讨论】:

      【解决方案2】:

      我将分三遍进行,用所需的dd 过滤数组并按jlo 分组,然后提取数组第一个(保证)项的jlo 及其长度:

      map(select(.dd == "d5f")) | group_by(.jlo) | map("\(.[0].jlo) \(length)") | .[]
      

      你可以try it here。

      完整的 bash 运行:

      jq --arg dd d5f --raw-output 'map(select(.dd == $dd)) | group_by(.jlo) | map("\(.[0].jlo) \(length)") | .[]' yourJsonFile > departmentone.txt
      jq --arg dd 5d9 --raw-output 'map(select(.dd == $dd)) | group_by(.jlo) | map("\(.[0].jlo) \(length)") | .[]' yourJsonFile > departmentalt.txt
      jq --arg dd 1b1 --raw-output 'map(select(.dd == $dd)) | group_by(.jlo) | map("\(.[0].jlo) \(length)") | .[]' yourJsonFile > departmentshort.txt
      

      假设您有一个名为“mapping.txt”的文件,其内容如下:

      d5f:departmentone
      5d9:departmentalt
      1b1:departshort
      

      您可以提取这些代码和标签来生成文件:

      while IFS=: read -r code label; do
          jq --arg dd $code --raw-output 'map(select(.dd == $dd)) | group_by(.jlo) | map("\(.[0].jlo) \(length)") | .[]' yourJsonFile > "$label".txt
      done < mapping.txt
      

      【讨论】:

      • 已经尝试过类似于上述的方法,如果我说数千个 dd 值,我该如何迭代?那么将每个结果写入一个单独的 txt 文件呢?
      • 我正在为这 3 个值编写解决方案。为了概括它,您需要一些能够了解.dd -&gt; filename 关联的东西。
      • 不,还没有弄清楚如何进行关联(.dd -> 文件名关联),但是任何更接近我的解决方案都将受到高度赞赏
      • 你自己怎么知道 d5f 是 departmentone ?我怀疑你已经保留了数千个代码,所以它必须记录在某个文件中,你可以希望从中提取整个关联
      • 是的,它位于制表符分隔的文件中。我的意思是我还没有找到用 jq 代码实现这种关联的方法
      猜你喜欢
      • 1970-01-01
      • 2012-10-09
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-12-04
      • 2022-10-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多