sed 或 awk 将两个文件与 sum 组合

Question

我们有脚本可以从 squid access.log 中删除除域名之外的所有内容，并报告每个 URL 的总命中数，我有一个生成的两个文件，一个有缓存命中，另一个有缓存未命中，我正在寻找一种方法来组合这些文件如下 -

cat TCP_MISS_data.txt

Domains    CacheMiss
abc.com    21
def.com    38
xyz.com    12

cat TCP_HITS_data.txt

Domains  CacheHits
def.com  28
abc.com  10
xyz.com

cat Combined_data.txt

Domains    CacheMiss CacheHits  TotalHits
abc.com     21        10          31
def.com     38        28          66
xyz.com     12        0           12

感谢任何帮助。

更新：

我使用下面的 awk 单行从访问日志中删除域和命中，它输出一个包含所有域及其命中的文件，而不管 HITS 和 MISSES。

猫访问.log | awk '{打印 $7}' | awk '!/^http/{sub(/^/,"http://")}1' | awk -F"/" '{打印 $3}' | awk -F":" '{打印 $1}' | awk -F"。" '{f1=NF;f2=NF-1;打印 $f2 "." $f1}' |排序 |唯一的-c |排序 -n

为了区分我在下面所做的命中和未命中 -

猫访问.log | grep TCP_MISS | awk '{打印 $7}' | awk '!/^http/{sub(/^/,"http://")}1' | awk -F"/" '{打印 $3}' | awk -F":" '{打印 $1}' | awk -F"。" '{f1=NF;f2=NF-1;打印 $f2 "." $f1}' |排序 |唯一的-c |排序 -n > TCP_MISS_data 猫访问.log | grep TCP_HIT | awk '{打印 $7}' | awk '!/^http/{sub(/^/,"http://")}1' | awk -F"/" '{打印 $3}' | awk -F":" '{打印 $1}' | awk -F"。" '{f1=NF;f2=NF-1;打印 $f2 "." $f1}' |排序 |唯一的-c |排序 -n > TCP_HITS_data

现在我得到了两个文件，TCP_MISS_data 和 TCP_HITS_data，它们的行不相等，我尝试按照我上面的帖子中的说明合并这两个文件。

Answer 1

这个oneliner可以完成这项工作：

 awk 'NR==FNR{a[$1]=$2;next}
     $1 in a{printf "%s %s %s %s\n", $1,a[$1],($2?$2:0),(FNR>1?a[$1]+$2:"TotalHits")}' missFile hitFile

要获得“漂亮”的输出格式，您可以调整printf 格式，或者像awk ..... |column -t 一样将结果通过管道传输到column -t

使用您的示例输入：

kent$  head f*
==> f1 <==
Domains    CacheMiss
abc.com    21
def.com    38
xyz.com    12

==> f2 <==
Domains  CacheHits
def.com  28
abc.com  10
xyz.com

kent$  awk 'NR==FNR{a[$1]=$2;next}$1 in a{printf "%s %s %s %s\n", $1,a[$1],($2?$2:0),(FNR>1?a[$1]+$2:"TotalHits")}' f1 f2|column -t
Domains  CacheMiss  CacheHits  TotalHits
def.com  38         28         66
abc.com  21         10         31
xyz.com  12         0          12

编辑：

添加一些解释：

awk 'NR==FNR{a[$1]=$2;next}           #process the first file, store in a hashtable, key:col1, value:col2
$1 in a                               #starting processing 2nd file, if file2.col1 in hashtable, do followings:
{printf "%s %s %s %s\n", $1,a[$1],    #printf output with format
($2?$2:0),                            #if file2.cols was empty, we take it as 0
(FNR>1?a[$1]+$2:"TotalHits")          #if first line, we dont do sum, print "totalHits" text
}' f1 f2                              #two input files