【问题标题】:Replace a multiline pattern using Perl, sed, awk使用 Perl、sed、awk 替换多行模式
【发布时间】:2017-06-16 00:00:50
【问题描述】:

我需要连接多个 JSON 文件,所以

        ...
        "tag" : "description"
    }
]
[
    {
        "tag" : "description"
        ...

进入这个:

    ...
    "tag" : "description"
},
{
    "tag" : "description"
    ...

所以我需要将模式] [替换为,,但是换行符让我抓狂...

我使用了几种方法,我列出了其中的一些:

  • sed

     sed -i '/]/,/[/{s/./,/g}' file.json
    

    但我收到此错误:

    sed: -e expression #1, char 16: unterminated address regex
    
  • 我尝试删除所有换行符 following this example

    sed -i ':a;N;$!ba;s/\n/ /g' file.json
    

    并且输出文件有“^M”。虽然我在 unix 中修改了这个文件,但我在这个文件上使用了 dos2unix 命令,但没有任何反应。然后我尝试在搜索中包含特殊字符“^M”,但结果更差

  • Perl (建议here)

    perl -i -0pe 's/]\n[/\n,/' file.json
    

    但我收到此错误:

    Unmatched [ in regex; marked by <-- HERE in m/]\n[ <-- HERE / at -e line 1.
    

【问题讨论】:

  • 直接字符串操作是您唯一的选择吗?为什么不解析每个文件中的 JSON 并写出同样由 perl-core JSON 模块处理的结果?
  • 我可能理解你的问题是错误的,但是:你的第一个示例行的内容是你自己做的结果('我想连接几个 JSON 文件。')还是已经给定的事实这些文件之一?如果是后者,请忽略我的第一条评论。
  • JSON 对象之间的][ 来自哪里?换句话说,您目前是如何合并文件的?
  • @SREagle 对不起,我认为版主切断了我的问题。 ...}][{ .. 是 2 个 json 文件串联的结果。那么,SREagle,你的提议是可能的,但我认为问题仍然存在于最后一个要连接的文件
  • @buondi:你有没有尝试使用jq(它是为处理json文件而设计的)?这个命令行就足够了:jq -c -s -r '[.[]|.[]]' file.json &gt; result.json

标签: bash perl unix awk sed


【解决方案1】:

我想连接几个 JSON 文件。

如果我理解正确,您的内容类似于以下内容(其中字母代表有效的 JSON 值):

to_combine/file1.json: [a,b,c]
to_combine/file2.json: [d,e,f]

然后,您需要以下内容:

combined.json: [a,b,c,d,e,f]

您可以使用以下方法来实现:

perl -MJSON::XS -0777ne'
   push @data, @{ decode_json($_) };
   END { print encode_json(\@data); }
' to_combine/*.json >combined.json

至于你的 Perl 解决方案的问题:

  1. [ 在正则表达式模式中具有特殊含义。你需要逃避它。
  2. 您只需执行一次替换。
  3. -0 实际上并没有打开啜饮模式。使用-0777。
  4. 您将逗号放在换行符之后,这样在换行符之前会更好。

修复:

cat to_combine/*.json | perl -0777pe's/\]\n\[/,\n/g' >combined.json

【讨论】:

    【解决方案2】:

    请注意,组合多个 JSON 文件的更好方法是将它们全部解析,组合解析后的数据结构,然后重新编码结果。只需将所有出现的][ 更改为逗号, 可能会更改数据而不是标记

    sed 是一个最小的程序,它一次只对文件的一行进行操作。 Perl 包含了 sed 或 awk 可以做的所有事情,而且还有很多,所以我建议你坚持下去

    要将file.json 中的所有]...[ 对(可能由空格分隔)更改为单个逗号,请使用此

    perl -0777 -pe "s/\]\s*\[/,/g" file.json > file2.json
    

    -0 选项指定一个八进制的行分隔符,并且给它值 777 使 perl 一次读取整个文件

    众所周知,单行代码难以理解,我总是更喜欢像这样的适当程序文件

    join_brackets.pl

    use strict;
    use warnings 'all';
    
    my $data = do {
        local $/;
        <>;
    }
    
    $data =~ s/ \] \s* \[ /,/gx;
    
    print $data;
    

    你会运行它

    perl join_brackets.pl file.json > joined.json
    

    【讨论】:

      【解决方案3】:

      我在您的问题中尝试了示例。

      $ sed -rn '
          1{$!N;$!N}
          $!N
          /\s*}\s*\n\s*]\s*\n\s*\[\s*\n\s*\{\s*/M { 
              s//\},\n\{/
              $!N;$!N 
          }
          P;D
      ' file
              ...
              "tag" : "description"
      },
      {
              "tag" : "description"
              ...
              ...
              "tag" : "description"
      },
      {
              "tag" : "description"
              ...
      

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2013-11-11
        • 2011-01-23
        • 2021-12-24
        • 2014-01-24
        • 2013-05-30
        • 2012-11-30
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多