仅当 '\t' 的出现多于一个数字时，才将 '\n' 替换为空格

Question

我有数以万计的制表符分隔的数据文件，每个都喜欢：

a0\ta1\ta2\ta3\ta4\ta5\ta6\ta7\ta8\ta9\n
b0\tb1\tb2\tb3\tb4\tb5\tb6\tb7\tb8\tb9\n
...

但是，偶尔会有一些文件包含（随机）格式错误的行，例如：

a0\ta1\ta2\ta3_0\n
a3_1\ta4\ta5\ta6\ta7\ta8\ta9\n
b0\tb1\tb2_0\n
b2_1\tb3\tb4\tb5\tb6\tb7\tb8\tb9\n
...

其中a3_0、a3_1（b2_0、b2_1 resp.）是 a3（b2 resp.）的一部分，最初由空格分隔。仅当行太短或\t 太少时，我才想用空格替换行尾的每个\n。目前5 似乎是一个安全阈值。

我经常用sed做一些修改，比上面的要简单很多。我想知道sed 或其他一些命令（如awk？我还需要学习）是否可以用于快速处理（因为我有很多文件）。谢谢。

Answer 1

使用 GNU awk 处理多字符 RS 和 RT（以及后来的 -i infile 和 ENDFILE）并使用逗号而不是制表符来提高可见性：

$ cat file
a0,a1,a2,a3,a4,a5,a6,a7,a8,a9
b0,b1,b2,b3,b4,b5,b6,b7,b8,b9
a0,a1,a2,a3_0
a3_1,a4,a5,a6,a7,a8,a9
b0,b1,b2_0
b2_1,b3,b4,b5,b6,b7,b8,b9

$ awk -v RS='([^,]*,){9}[^\n]*\n' '{$0=RT; sub(/\n$/,"") gsub(/\n/," ")} 1' file
a0,a1,a2,a3,a4,a5,a6,a7,a8,a9
b0,b1,b2,b3,b4,b5,b6,b7,b8,b9
a0,a1,a2,a3_0 a3_1,a4,a5,a6,a7,a8,a9
b0,b1,b2_0 b2_1,b3,b4,b5,b6,b7,b8,b9

上面的 [ab-] 使用 RS 将每条记录（而不是记录分隔符）描述为一系列 10 个逗号分隔的字段，以换行符结尾，然后在打印前在每条记录中适当地替换换行符。

只需将 RS='([^,]*,){9}[^\n]*\n' 更改为 RS='([^\t]*\t){9}[^\n]*\n' 即可使用制表符分隔而不是逗号分隔的字段。

要对所有文件进行更改，请添加-i inplace:

awk -i inplace -v RS='...' '...' *

或：

find ... -exec awk -i inplace -v RS='...' '...' {} +

实际上，您甚至不必对 RS 进行硬编码，只要每个输入文件中至少有 1 行完整的行，该工具就可以解决：

$ awk -F',' '
    BEGIN { ARGV[ARGC] = ARGV[ARGC-1]; ARGC++ }
    NR==FNR { n=(NF>n?NF:n); next }
    ENDFILE { RS="([^"FS"]*"FS"){"n-1"}[^\n]*\n" }
    { $0=RT; sub(/\n$/,"") gsub(/\n/," "); print }
' file
a0,a1,a2,a3,a4,a5,a6,a7,a8,a9
b0,b1,b2,b3,b4,b5,b6,b7,b8,b9
a0,a1,a2,a3_0 a3_1,a4,a5,a6,a7,a8,a9
b0,b1,b2_0 b2_1,b3,b4,b5,b6,b7,b8,b9

只需将-F',' 更改为-F'\t' 即可使用制表符分隔。

使用 POSIX awks 仅供参考，上述两个 gawk 脚本的最接近等效项是：

$ awk '
    { rec=rec $0 RS }
    END{
        while ( match(rec,/([^,]*,){9}[^\n]*\n/) ) {
            tgt = substr(rec,RSTART,RLENGTH)
            sub(/\n$/,"",tgt)
            gsub(/\n/," ",tgt)
            print tgt
            rec = substr(rec,RSTART+RLENGTH)
        }
    }
' file
a0,a1,a2,a3,a4,a5,a6,a7,a8,a9
b0,b1,b2,b3,b4,b5,b6,b7,b8,b9
a0,a1,a2,a3_0 a3_1,a4,a5,a6,a7,a8,a9
b0,b1,b2_0 b2_1,b3,b4,b5,b6,b7,b8,b9

和：

awk -F',' '
    { rec=rec $0 RS; n=(NF>n?NF:n) }
    END{
        while ( match(rec,"([^"FS"]*"FS"){"n-1"}[^\n]*\n") ) {
            tgt = substr(rec,RSTART,RLENGTH)
            sub(/\n$/,"",tgt)
            gsub(/\n/," ",tgt)
            print tgt
            rec = substr(rec,RSTART+RLENGTH)
        }
    }
' file
a0,a1,a2,a3,a4,a5,a6,a7,a8,a9
b0,b1,b2,b3,b4,b5,b6,b7,b8,b9
a0,a1,a2,a3_0 a3_1,a4,a5,a6,a7,a8,a9
b0,b1,b2_0 b2_1,b3,b4,b5,b6,b7,b8,b9

请注意，那些在主处理开始之前将整个文件读入单个字符串的人，因此如果您的文件太大而无法放入内存但您已经告诉我们每个文件“非常小”，他们就会失败，这样应该不是问题。

要覆盖输入文件，最简单的方法总是：

awk '{...}' file > tmp && mv tmp file

但在这种情况下，您也可以这样做：

awk '{...} END{... print tgt > ARGV[1] ...}' file

这在这种情况下有效，因为 awk 在开始 END 部分之前已经完成了对输入文件的读取。不要在脚本的其他地方尝试。

Answer 2

假设您将以下脚本命名为repiece：

#!/usr/bin/env bash

IFS=$'\t'       # use tab separators throughout this script
rIFS=,          # except to avoid field coalescing, use commas
pieces_needed=5 # adjust this to taste

for arg; do
  tempfile="${arg}.tmp-$$" # vulnerable to symlink attacks; use mktemp instead if untrusted
                           # users have write access to current directory.
  deferred=( )
  {
    while IFS="$rIFS" read -r -a pieces; do
      if (( ( ${#deferred[@]} + ${#pieces[@]} ) < pieces_needed )); then
        deferred+=( "${pieces[@]}" )
      elif (( ${#deferred[@]} )); then
        # separate last piece of deferred and first of pieces with a space
        all_pieces=( "${deferred[@]} ${pieces[@]}" )
        printf '%s\n' "${all_pieces[*]}"
        deferred=( )
      else
        printf '%s\n' "${pieces[*]}"
      fi
    done
    # if we have anything deferred for the last line, print it now
    (( ${#deferred[@]} )) && printf '%s\n' "${deferred[*]}"
  } < <(tr -- "$IFS" "$rIFS" <"$arg") >"$tempfile"
  mv -- "$tempfile" "$arg"
done

...您可以调用尽可能少的调用来处理所有文件，如下所示：

# if your files end in .tsv
find . -type f -name '*.tsv' -exec ./repiece {} +

Answer 3

在 awk 中，在空格和 \ņ 之间更改 ORS：

$ awk '
BEGIN { 
    FS=OFS="\t"       # set field separators
    RS=ORS="\n"       # set record separators
}
NF<=5 {               # if below or at threshold
    ORS=" "           # redefine output record separator
}
{
    print             # print record with ORS
    ORS="\n"          # reset ORS back to newline
}' file
a0      a1      a2      a3      a4      a5      a6      a7      a8      a9
b0      b1      b2      b3      b4      b5      b6      b7      b8      b9
a0      a1      a2      a3_0 a3_1       a4      a5      a6      a7      a8      a9
b0      b1      b2_0 b2_1       b3      b4      b5      b6      b7      b8      b9

使用 shell 脚本处理多个文件：

$ for f in file1 file2 ; do awk ... $f > new-$f ; done

如果需要，请引用 $f。

Answer 4

这可能对你有用（GNU sed）：

sed ':a;s/\t/&/9;t;N;s/\n/ /;ta' file

如果当前行中的制表符少于 9 个，则追加下一行并将换行符替换为空格。重复直到 9 个或更多选项卡。