是否可以通过 GNU 并行将 awk 写入多个文件？

Question

我正在运行一个 awk 脚本，我想通过 GNU 并行进行并行化。

此脚本根据每一行的值将一个输入文件多路分解为多个输出文件。代码如下：

#!/usr/bin/awk -f

BEGIN{ FS=OFS="\t" }
{
    # bc is the field that defines to which file the line
    # will be written
    bc = $1
    # append line to such file
    print >> (bc".txt")
}

我想通过以下方式使用 GNU 并行化它：

parallel --line-buffer --block 1G --pipe 'awk script.awk'

但是，我担心两个 awk 进程同时在同一个文件中写入可能出现的竞争条件。是否有可能，如果可以，如何在不影响并行化的情况下避免这种情况？

注意。我包含了--line-buffer 选项，尽管我不确定它是否也适用于 awk 脚本中的文件重定向。它是否也适用于这种情况或仅适用于每个 awk 进程的标准输出？

示例

# Input file
bc1    line1
bc3    line2
bc1    line3
bc2    line4


# Output file bc1.txt
bc1    line1
bc1    line3

# Output file bc2.txt
bc2    line4

# Output file bc3.txt
bc3    line2

Answer 1

您可以通过在不同的目录中解复用输出来做到这一点：

stuff |
  parallel --block 10M --pipe --round-robin \
    'mkdir -p dir-{%}; cd dir-{%}; awk ../script.awk'

或者如果输入是一个文件，你可以使用--pipepart，这样更快：

parallel --block -1 --pipepart -a bigfile \
  'mkdir -p dir-{%}; cd dir-{%}; awk ../script.awk'

那么就没有竞争条件了。通过合并目录完成：

parallel 'cd {}; ls' ::: dir-* | sort -u |
  parallel 'cat */{} > {}'

如果合并不可接受（可能您没有磁盘空间来存储 2 个数据副本），您可以使用 fifos。但要做到这一点，您需要提前知道所有.txt-文件的名称，并且您需要一个可以并行运行每个名称一个进程的系统（10000 个名称 = 10000 个进程）：

# Generate names-of-files.txt somehow
# Make fifos for all names in all slots
parallel 'mkdir -p {2}; mkfifo {2}/{1}' :::: \
  names-of-files.txt <(seq $(parallel --number-of-threads) )
# Run the demultiplexer in the background
parallel --block -1 --pipepart -a bigfile \
  'mkdir -p dir-{%}; cd dir-{%}; awk ../script.awk' &
# Start one process per name
# If you have more than 32000 names, you will need to increase the number
# of processes on your system.
cat names-of-files.txt |
  parallel -j0 --pipe -N250 -I ,, parallel -j0 'parcat */{} > {}'