在 awk 中调用 system() 时出错

Question

我正在尝试执行一个系统命令来找出一个 csv 文件在其前七个字符中有多少个唯一引用，作为处理相同 csv 文件的更大 awk 脚本的一部分。有重复的条目，我不想让 awk 解析整个文件两次，所以我避免使用 NR。这部分脚本的要点是：

#!/bin/bash
awk '
{
  #do some stuff, then when finished, count the number of unique references
  productFile="BusinessObjects.csv";
  systemCall = sprintf( "cat %s | cut -c 1-7 | sort | uniq | wc -l", $productFile );
  productCount=`system( systemCall )`-1; #subtract 1 to remove column label row
}' < BusinessObjects.csv

而且解释器不喜欢它：

awk: cmd. line:19: ^ syntax error ./awkscript.sh: line 38: syntax error near unexpected token '(' ./awkscript.sh: line 38: systemCall = sprintf( "cat %s | cut -c 1-7 | sort | uniq | wc -l", $productFile );

如果我硬编码系统命令

productCount=`system( "cat BusinessObjects.csv | cut -c 1-7 | sort | uniq | wc -l" )`-1;

我明白了：

./awkscript.sh: command substitution: line 39: syntax error near unexpected token '"cat BusinessObjects.csv | cut -c 1-7 | sort | uniq | wc -l"' ./awkscript.sh: command substitution: line 39: 'system( "cat BusinessObjects.csv | cut -c 1-7 | sort | uniq | wc -l" )'

从技术上讲，我可以在 shell 脚本开始时在 awk 之外执行此操作，将结果存储在系统变量中，然后使用 -v 将其传递给 awk，但这不利于 awk 脚本的可读性（它有几百行长）。我在错误的地方有空格或引号吗？我试过摆弄，但我似乎无法以解释器接受的方式呈现对 system() 的调用。最后，有没有更明智的方法来做到这一点？

---

编辑： csv 文件确实是用分号分隔的，因此最好使用分隔符而不是字符数进行剪切（谢谢！）。

ProductRef;Data1;Data2;等

1234567;等;等;等

---

编辑 2： 我正在尝试解析一个 csv 文件，该文件的第一列充满了 N 个唯一的产品引用，并创建了一系列关联的 HTML 页面，其中包括“N 页 n”信息字段。这是（显然很痛苦）我第一次使用 awk，但它似乎是解析 csv 文件的合适工具。因此，我试图计算并返回唯一引用的数量。在外壳上

剪切-d\; -f1 业务对象.csv |排序 |独特 | wc -l

工作正常，但我无法通过这样做在 awk 中工作

#!/bin/bash
if [ -n "$1" ]
then
        productFile=$1
else
        echo "Missing product file argument."
        exit
fi

awk -v productFile=$productFile '
BEGIN {
        FS=";";
        productCount = 0;
        ("cut -d\"\;\" -f1 " productFile " | sort | uniq | wc -l") | getline productCount;
        productCount -=1; #remove the column label row
}

{
print productCount;
}'

如果我不将分号包含在 \"\;\" 中，我会在剪切代码上收到语法错误，并且脚本会挂起，而不会在我这样做时打印任何内容。

Answer 1

我不记得你可以在 awk 中使用反引号。

  productCount=`system( systemCall )`-1; #subtract 1 to remove column label row

您可以不使用 system 直接运行命令，而是使用 getline 来读取输出：

  systemCall | getline productCount
  productCount -= 1

或者更完整

  productFile = "BusinessObjects.csv"
  systemCall = "cut -c 1-7 " productFile " | sort | uniq | wc -l"
  systemCall | getline productCount
  productCount -= 1

• 无需使用sprintf 并包含cat。
• 将字符串分配给变量也是可选的。你可以只用"xyz" | getline ...。
• 如果支持，sort | uniq 可以只是 sort -u。
• 如果文件名包含可能会混淆命令的空格或字符，则可能需要引用。
• getline 可能会以不同于预期的方式更改全局变量。见https://www.gnu.org/software/gawk/manual/html_node/Getline.html。

Answer 2

这样的选择可以吗？

$ cat productCount.sh
#!/bin/bash
if [ -n "$1" ]
then
        productCount=`cat $1 | cut -c 1-7 | sort | uniq | wc -l`
        echo $productCount
else
        echo "please supply a filename as parameter"
fi

$ ./productCount.sh BusinessObjects.csv
9