每一行的 awk exec 命令并保留列

Question

我有一个包含两列的大型数据集文件

AS  জীৱবিজ্ঞানবিভাগ
AS  চেতনাদাস
AS  বৈকল্পিক

我想在第二列上运行我的命令，存储结果并获得具有相同列格式的输出：

AS jibvigyanvibhag
AS chetanadas
AS baikalpik

我的命令是这个管道：

echo "$0" | indictrans -s asm -t eng --ml --build-lookup

所以我这样做

awk -v OFS="\t" '{ print "echo "$2" | indictrans -s asm -t eng --ml --build-lookup" | "/bin/sh"}' in.txt > out.txt

但这不会保留列，它只是像这样打印出第一列

jibvigyanvibhag
chetanadas
baikalpik

我的解决方案如下

awk -v OFS="\t" '{ "echo "$2" | indictrans -s asm -t eng --ml --build-lookup" | getline RES; print $1,$2,RES}' in.txt > out.txt

会打印出来

AS  জীৱবিজ্ঞানবিভাগ    jibvigyanvibhag
AS  চেতনাদাস    chetanadas
AS  বৈকল্পিক    baikalpik

现在我想对命令进行参数化，但是这里的转义看起来很奇怪：

"echo "$0" | indictrans -s $SOURCE -t $TARGET --ml --build-lookup"

它不起作用。如何正确执行该命令并转义参数？

[更新] 这是我受到建议的启发而得出的部分解决方案

#!/bin/bash

SOURCE=asm
TARGET=eng
IN=$2
OUT=$3

awk -v OFS="\t" '{
        CMD = "echo "$2" | indictrans -s asm -t eng --ml --build-lookup"
        CMD | getline RES
        print $1,RES
        close(CMD)
}' $IN > $OUT

我仍然无法摆脱变量，似乎我无法像往常一样用-v定义

awk -v OFS="\t" -v source=$SOURCE -v target=$TARGET '{
            CMD = "echo "$2" | indictrans -s source -t target --ml --build-lookup"
...

注意事项。

indictrans 进程处理stdin 并以这种方式写入stdout：

    for line in ifp:
        tline = trn.convert(line)
        ofp.write(tline)
    # close files
    ifp.close()
    ofp.close()

在哪里

ifp = codecs.getreader('utf8')(sys.stdin)
ofp = codecs.getwriter('utf8')(sys.stdout)

所以它从stdin 中提取一个line，使用某个库trn.convert 处理数据，并将结果写入stdout，没有任何并行性。

出于这个原因（在多行输入方面缺乏并行性），性能受到数据集大小（行数）的限制。

here 提供了一个示例输入两列数据集（1K 行）。示例示例是

KN   ಐಕ್ಯತೆ ಕ್ಷೇಮಾಭಿವೃದ್ಧಿ ಸಂಸ್ಥೆ  ವಿಜಯಪುರ
KN   ಹೊರಗಿನ ಸಂಪರ್ಕಗಳು 
KN    ಮಕ್ಕಳ ಸಾಹಿತ್ಯ ಮತ್ತು ಸಾಂಸ್ಖ್ರುತಿಕ ಕ್ಷೇತ್ರದಲ್ಲಿ ಸೇವೆ ಸಲ್ಲಿಸುತ್ತಿರುವ ಸಂಸ್ಠೆ ಮಕ್ಕಳ ಲೋಕ  

而基于最后接受答案的示例脚本是here

Answer 1

不要使用 awk 调用 shell。 shell 本身会避免将数据视为代码，除非明确指示这样做 - 但是当您使用 system() 或 popen() ，正如 awk 代码在这里所做的那样，作为参数传递的所有内容都会在数据能够转义其引用并被视为代码的上下文中进行解析。

---

简单方法：每行一个indictrans

如果您需要为要执行的每一行提供indictrans 的单独副本，请使用：

while read -r col1 rest; do
  printf '%s\t%s\n' "$col1" "$(indictrans -s asm -t eng --ml --build-lookup <<<"$rest")"
done <in.txt >out.txt

---

快速方法：一个indictrans 处理所有行

如果indictrans 每行输入生成一行输出，您可以做得更好，将一个流与所有第一列粘贴在一起，将第二个字符串与其余行的翻译粘贴在一起，因此只需要要运行的indictrans 的一份副本：

#!/usr/bin/env bash
#              ^^^^- not compatible with /bin/sh

paste <(<in.txt awk '{print $1}') \
      <(<in.txt sed -E 's/^[^[:space:]]*[[:space:]]//' \
                | indictrans -s asm -t eng --ml --build-lookup) \
  >out.txt

Answer 2

您可以将第 2 列通过管道传输到您的命令，并在 awk 中使用如下命令的输出来更改它。

{
    cmd = "echo "$2" | indictrans -s asm -t eng --ml --build-lookup"
    cmd | getline $2
    close(cmd)
} 1

如果 SOURCE 和 TARGET 是 awk 变量

{
    cmd = "echo "$0" | indictrans -s "SOURCE" -t "TARGET" --ml --build-lookup"
    cmd
    close(cmd)
}