【问题标题】:Big grep from txt list in .gz file logs.gz 文件日志中 txt 列表中的大 grep
【发布时间】:2019-07-22 15:59:47
【问题描述】:

这是我的问题(对我来说其实是个大问题)。

我有一个 1.130.395 行的 txt 文件,如下所示:

10812
10954
10963
11070
11099
10963
11070
11099
betti.bt
betti12
betti1419432307
19442407
19451970
19461949

我有大约 2000 个 .gz 日志文件。

我需要为 .txt 文件的每一行对所有 .gz 文件执行 grep。

这是gz文件内容的示例,示例行:

time=2019-02-28 00:03:32,299|requestid=30ed0f2b-9c44-47d0-abdf-b3a04dbb560e|severity=INFO |severitynumber=0|url=/user/profile/oauth/{token}|params=username:juvexamore,token:b73ad88b-b201-33ce-a924-6f4eb498e01f,userIp:10.94.66.74,dtt:No|result=SUCCESS
time=2019-02-28 00:03:37,096|requestid=8ebca6cd-04ee-4818-817d-30f78ee95731|severity=INFO |severitynumber=0|url=/user/profile/oauth/{token}|params=username:10963,token:1d99be3e-325f-3982-a668-30494cab9a96,userIp:10.94.66.74,dtt:No|result=SUCCESS

txt 文件包含用户名。 如果带有“profile”参数和“result=SUCCESS”的url存在用户名,我需要在gz文件中搜索。

如果发现了什么,只写入日志文件: username found; name of the log file in which it was found

可以做点什么吗? 我知道我需要使用 zgrep 命令,但有人可以帮我....自动化该过程是否可以让它过去?

谢谢大家

【问题讨论】:

  • 在该示例行中是否找到任何 txt 文件条目?
  • 不,我从我作为示例报告的一个 txt 条目中报告另一个示例:time=2019-02-28 00:03:37,096|requestid=8ebca6cd-04ee-4818-817d-30f78ee95731 |severity=INFO |severitynumber=0|url=/user/profile/oauth/{token}|params=username:10963,token:1d99be3e-325f-3982-a668-30494cab9a96,userIp:10.94.66.74,dtt:No|结果=成功
  • 我补充一下,txt文件既包含数字又包含字母,例如:betti.bt betti12 betti1419432307 19442407 19451970 19461949
  • 可以发布 10 行的示例文件、10 行的示例 gz 文件并显示这些输入的结果吗?我不清楚,你想 grep 做什么?只是grep 10812 ?

标签: bash csv awk grep zgrep


【解决方案1】:

我会做(未经测试):

zgrep -H 'url=/user/profile/oauth/{token}|params=username:.*result=SUCCESS' *.gz |
awk -F'[=:,]' -v OFS=';' 'NR==FNR{names[$0];next} $12 in names{print $12, $1}' names.txt - |
sort -u

或者可能效率更高一点,因为它删除了 zgrep 输出的每一行的 NR==FNR 测试:

zgrep -H 'url=/user/profile/oauth/{token}|params=username:.*result=SUCCESS' *.gz |
awk -F'[=:,]' -v OFS=';' '
    BEGIN {
        while ( (getline line < "names.txt") > 0 ) {
            names[line]
        }
        close("names.txt")
    }
    $12 in names{print $12, $1}' |
sort -u

如果给定的用户名在给定的日志文件中只能出现一次,或者如果您确实希望多次出现以产生多个输出行,那么您不需要最终的| sort -u。

【讨论】:

  • 我今天会证明这一点;)
  • 哇!我用一个文件进行了测试,它可以工作:SKYIDVIP_48909;Security.CerebroRM_APP14_Managed01.log.gz....现在我将用所有 2000 gz 文件证明它
  • @Emanuele 那么,花了多长时间? 3 小时,帖子之间的时间?
  • 对于所有文件 gz(我已经多次运行),只需要不到 1 小时 ;)
【解决方案2】:

使用getline 重写。它读取file.txt 用户名并对其进行散列处理,然后将gzip 作为参数splits 提供的gzip 压缩,直到获得具有username: 的字段,提取实际用户名并从散列中搜索它。未正确测试等标准免责声明。让我知道它是否有效:

$ cat script.awk
BEGIN{
    while (( getline line < ARGV[1]) > 0 ) {       # read the username file
        a[line]                                    # and hash to a
    }
    close(ARGV[1])
    for(i=2;i<ARGC;i++) {                          # read all the other files
        cmd = "gunzip --to-stdout " ARGV[i]        # form uncompress command
        while (( cmd | getline line ) > 0 ) {      # read line by line
            m=split(line,t,"|")                    # split at pipe
            if(t[m]!="result=SUCCESS")             # check only SUCCESS records
                continue
            n=split(t[6],b,/[=,]/)                 # username in 6th field
            for(j=1;j<=n;j++)                      # split to find it, set to u var:
                if(match(b[j],/^username:/)&&((u=substr(b[j],RSTART+RLENGTH)) in a)) {
                    print u,"found in",ARGV[i]     # output if found in a hash
                        break                      # exit for loop once found
                }
        }
        close(cmd)
    }
}

运行它(使用相同数据的 2 个副本):

$ awk -f script.awk file.txt log-0001.gz log-0001.gz
10963 found in log-0001.gz
10963 found in log-0001.gz

【讨论】:

  • 我马上试试。我可以将它作为 'awk -f script.awk lista2.txt log-.gz log-.gz' 启动吗?因为它们是 2000 个文件 gz?
  • awk -f script.awk lista2.txt log*gz 也应该可以工作。命令行参数是有限制的,所以如果太多,请尝试使用适当的通配符来限制数量。并先用几个文件对其进行测试。
  • @Emanuele 如果您可以尝试在它们上运行 time 的当前提议的两种解决方案,然后让我们知道结果,那将会很有趣。
  • 我很好奇他们是否也处理过这些要求。
  • 它似乎不起作用,因为很多文件 gz 到 grep。 4小时后
猜你喜欢
  • 2011-12-31
  • 2014-04-29
  • 2013-07-16
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2013-10-23
  • 1970-01-01
相关资源
最近更新 更多