如何在 awk 脚本中使用 shell 变量？

Question

我找到了一些将外部 shell 变量传递给 awk 脚本的方法，但我对 ' 和 " 感到困惑。

首先，我尝试了一个 shell 脚本：

$ v=123test
$ echo $v
123test
$ echo "$v"
123test

然后尝试了awk：

$ awk 'BEGIN{print "'$v'"}'
$ 123test
$ awk 'BEGIN{print '"$v"'}'
$ 123

为什么会有差异？

最后我尝试了这个：

$ awk 'BEGIN{print " '$v' "}'
$  123test
$ awk 'BEGIN{print ' "$v" '}'
awk: cmd. line:1: BEGIN{print
awk: cmd. line:1:             ^ unexpected newline or end of string 

我对此感到困惑。

Answer 1

#获取shell变量到awk 可以通过多种方式完成。有些比其他更好。这应该涵盖其中的大部分。如果您有意见，请在下方留言。 v1.5

---

使用-v（最好的方式，最便携）

使用-v 选项：（P.S. 在-v 之后使用一个空格，否则它的可移植性会降低。例如，awk -v var= 不是awk -vvar=）

variable="line one\nline two"
awk -v var="$variable" 'BEGIN {print var}'
line one
line two

这应该与大多数awk 兼容，并且该变量在BEGIN 块中也可用：

如果你有多个变量：

awk -v a="$var1" -v b="$var2" 'BEGIN {print a,b}'

警告。正如 Ed Morton 所写，转义序列将被解释，所以 \t 变成真正的 tab 而不是 \t 如果这是您搜索的内容。可以通过ENVIRON[]解决或者通过ARGV[]访问

PS如果你喜欢三个竖线作为分隔符|||，它不能被转义，所以使用-F"[|][|][|]"

从程序/函数客栈获取数据到awk的示例（此处使用日期）

awk -v time="$(date +"%F %H:%M" -d '-1 minute')" 'BEGIN {print time}'

将shell变量的内容测试为正则表达式的示例：

awk -v var="$variable" '$0 ~ var{print "found it"}'

---

代码块后的变量

这里我们得到awk 代码后面的变量。只要您不需要 BEGIN 块中的变量，这将正常工作：

variable="line one\nline two"
echo "input data" | awk '{print var}' var="${variable}"
or
awk '{print var}' var="${variable}" file

• 添加多个变量：

awk '{print a,b,$0}' a="$var1" b="$var2" file

• 这样我们还可以为每个文件设置不同的字段分隔符FS。

awk 'some code' FS=',' file1.txt FS=';' file2.ext

• 代码块后的变量不适用于BEGIN 块：

echo "input data" | awk 'BEGIN {print var}' var="${variable}"

---

这里字符串

也可以使用支持它们的 shell（包括 Bash）中的 here-string 将变量添加到 awk：

awk '{print $0}' <<< "$variable"
test

这与：

printf '%s' "$variable" | awk '{print $0}'

附：这会将变量视为文件输入。

---

ENVIRON输入

正如 TrueY 所写，您可以使用ENVIRON 打印环境变量。 在运行 AWK 之前设置一个变量，你可以这样打印出来：

X=MyVar
awk 'BEGIN{print ENVIRON["X"],ENVIRON["SHELL"]}'
MyVar /bin/bash

---

ARGV输入

正如 Steven Penny 所写，您可以使用 ARGV 将数据导入 awk：

v="my data"
awk 'BEGIN {print ARGV[1]}' "$v"
my data

要将数据放入代码本身，而不仅仅是 BEGIN：

v="my data"
echo "test" | awk 'BEGIN{var=ARGV[1];ARGV[1]=""} {print var, $0}' "$v"
my data test

---

代码中的变量：谨慎使用

您可以在awk 代码中使用变量，但它很混乱且难以阅读，而且正如Charles Duffy 所指出的，此版本也可能是代码注入的受害者。如果有人在变量中添加了坏东西，它将作为awk 代码的一部分执行。

这通过在代码中提取变量来工作，因此它成为它的一部分。

如果你想创建一个使用变量动态改变的awk，你可以这样做，但不要将它用于普通变量。

variable="line one\nline two"
awk 'BEGIN {print "'"$variable"'"}'
line one
line two

以下是代码注入示例：

variable='line one\nline two" ; for (i=1;i<=1000;++i) print i"'
awk 'BEGIN {print "'"$variable"'"}'
line one
line two
1
2
3
.
.
1000

您可以通过这种方式向awk 添加大量命令。甚至使用无效的命令使其崩溃。

不过，这种方法的一个有效用途是当您想将符号传递给 awk 以应用于某些输入时，例如一个简单的计算器：

$ calc() { awk -v x="$1" -v z="$3" 'BEGIN{ print x '"$2"' z }'; }

$ calc 2.7 '+' 3.4
6.1

$ calc 2.7 '*' 3.4
9.18

没有办法使用填充了 shell 变量值的 awk 变量来做到这一点，您需要在 awk 解释它之前扩展 shell 变量以成为 awk 脚本文本的一部分。

---

额外信息：

双引号的使用

双引号变量"$variable"总是好的
如果没有，多行将被添加为一个长的单行。

例子：

var="Line one
This is line two"

echo $var
Line one This is line two

echo "$var"
Line one
This is line two

其他不带双引号的错误：

variable="line one\nline two"
awk -v var=$variable 'BEGIN {print var}'
awk: cmd. line:1: one\nline
awk: cmd. line:1:    ^ backslash not last character on line
awk: cmd. line:1: one\nline
awk: cmd. line:1:    ^ syntax error

并且用单引号，它不会扩展变量的值：

awk -v var='$variable' 'BEGIN {print var}'
$variable

更多关于 AWK 和变量的信息

Read this faq.

Answer 2

好老的ENVIRON awk 内置hash好像根本没提。其用法示例：

$ X=Solaris awk 'BEGIN{print ENVIRON["X"], ENVIRON["TERM"]}'
Solaris rxvt

Answer 3

根据您希望如何处理 shell 变量中的反斜杠（avar 是一个 awk 变量，svar 是一个 shell 变量），使用其中任何一个：

awk -v avar="$svar" '... avar ...' file
awk 'BEGIN{avar=ARGV[1];ARGV[1]=""}... avar ...' "$svar" file

有关详细信息和其他选项，请参阅http://cfajohnson.com/shell/cus-faq-2.html#Q24。上面的第一种方法几乎总是您的最佳选择，并且具有最明显的语义。

Answer 4

您可以使用变量名 (v) 和环境变量 ("${v}") 的值 (=) 传入 command-line option -v：

% awk -vv="${v}" 'BEGIN { print v }'
123test

或者说得更清楚（vs 少得多）：

% environment_variable=123test
% awk -vawk_variable="${environment_variable}" 'BEGIN { print awk_variable }'
123test

Answer 5

您可以使用 ARGV：

v=123test
awk 'BEGIN {print ARGV[1]}' "$v"

注意，如果你要继续进入身体，你需要调整 ARGC：

awk 'BEGIN {ARGC--} {print ARGV[2], $0}' file "$v"

Answer 6

我刚刚更改了@Jotne 对“for 循环”的回答。

for i in `seq 11 20`; do host myserver-$i | awk -v i="$i" '{print "myserver-"i" " $4}'; done

Answer 7

我必须在日志文件行的开头插入日期，如下所示：

DATE=$(date +"%Y-%m-%d")
awk '{ print "'"$DATE"'", $0; }' /path_to_log_file/log_file.log

可以重定向到另一个文件保存

Answer 8

专业提示

创建一个处理这个问题的函数会很方便，这样您就不必每次都键入所有内容。使用我们得到的所选解决方案...

awk_switch_columns() {
     cat < /dev/stdin | awk -v a="$1" -v b="$2" " { t = \$a; \$a = \$b; \$b = t; print; } "
}

并将其用作...

echo 'a b c d' | awk_switch_columns 2 4

Output:
a d c b

Answer 9

示例：

in.txt:

foo
bar

变量：

var=$(awk '{print $1}' in.txt) 

命令：

echo -e "$var" > out.txt

out.txt

foo
bar

另一个：

in.txt

foo,aaa
bar,bbb

变量：

var=$(awk -F "," '{print $1}' in.txt) 

out.txt

foo
bar

或：

var=$(awk -F "," '{print $2}' in.txt) 

out.txt

aaa
bbb