【问题标题】:grep file with a large array带有大数组的 grep 文件
【发布时间】:2018-06-18 06:29:07
【问题描述】:

您好,我有一些 FW 日志存档,有时我需要将它们与一系列 IP 地址(数千个)进行比较,以获取 IP 地址匹配的日期和时间。我当前的脚本如下:

#input the list of ip into array
mapfile -t -O 1 var < ip.txt   while true
do
    #check array is not null
    if [[-n "${var[i]}"]] then  
    zcat /.../abc.log.gz | grep "${var[i]}"
    ((i++))

它确实有效,但它的速度太慢了,我认为 grep-ping 一条具有多个字符串的行会比每个 ip 行上的 zcat 更快。所以我的问题是有没有办法从 ip.txt 生成一个“长 grep 搜索字符串”?或者有没有更好的方法来做到这一点

【问题讨论】:

  • 请问什么是“FW log”? ip.txt 文件看起来如何? abc.log.gz 看起来怎么样?

标签: grep gzip zcat map-files


【解决方案1】:

当然。一件事是使用 cat 通常效率较低。我建议在这里使用zgrep。您可以按如下方式生成正则表达式

IP=`paste -s -d ' ' ip.txt`
zgrep -E "(${IP// /|})" /.../abc.log.gz

第一行将 IP 地址作为单行加载到IP。第二行通过用| 替换空格来构建一个看起来像(127.0.0.1|8.8.8.8) 的正则表达式。然后它使用zgrep 搜索一次abc.log.gz,使用-Extended 正则表达式。

但是,我建议您不要这样做。 首先,您应该转义放入正则表达式的字符串。即使您知道ip.txt 确实包含 IP 地址(例如,不受恶意用户控制),您仍然应该转义这些句点。但与其构建搜索字符串然后对其进行转义,只需使用grep 的-Fixed 字符串和-file 功能即可。然后你会得到简单快速的单线:

zgrep -F -f ip.txt /.../abc.log.gz

【讨论】:

  • 经过一番检查,显然您需要 // 而不是它才能工作 (${IP// /|})
  • 谢谢,已更新。我测试了原版,它工作......有两个IP地址。您的更改需要支持 3+,因为 / 只会替换第一个空格而不是全部(根据需要)。
  • 一位朋友让我想起了-Fixed 字符串功能。新的解决方案应该会好得多(尽管它在技术上并不“构建搜索字符串”)。
猜你喜欢
  • 2016-09-25
  • 1970-01-01
  • 2013-01-14
  • 1970-01-01
  • 2013-10-23
  • 2011-12-31
  • 1970-01-01
  • 2013-06-22
  • 1970-01-01
相关资源
最近更新 更多