识别单个 unix 目录中文本文件中的模式

Question

如果我想在一个单一目录中识别 Unix 中的模式，我可以知道哪个 unix 实用程序会有所帮助（如 awk）

输入：

$ ls

a_20171007_001.txt
a_20171007_002.txt
b_20171007_001.txt
c_20180101_001.txt

期待输出：

a_20171007_002.txt
b_20171007_001.txt

1. 无论文件创建时间如何，输出都应根据文件名返回最新版本的文件
2. 输出文件不应包含未来日期文件（例如，当前日期：20171008，因此 20180101 不应出现在输出中）

关于如何在 unix（awk 或 sed）中轻松实现这一点的任何建议

---

非常感谢您提供的所有解决方案。但不幸的是，如果文件名不遵循任何模式，则无济于事。

例如，输入：

ab_bc_全部_20171008_001.txt

bc_cd_ad_全部_20171008_001.txt

ab_bc_全部_20171008_002.txt

ad_dc_cd_ed_全部_20180101_001.txt

ae_bc_zx_ed_ac_全部_20170918_001.txt

输出：

bc_cd_ad_all_20171008_001.txt

ab_bc_all_20171008_002.txt

ae_bc_zx_ed_ac_all_20170918_001.txt

在上述情况下，只有在 'all' 之后出现日期字段的模式。 您能否在上述情况下提出建议..

提前致谢。

Answer 1

Perl 中的类似内容：

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

use Time::Piece;

my $today = localtime->ymd("");
my %latest;
for my $file (glob '*.txt') {
    my ($id, $date, $num) = split /[_.]/, $file;
    $latest{$id}{$date} = $num
        if $date <= $today
        && (! exists $latest{$id}
            || ! exists $latest{$id}{$date}
            || $num > $latest{$id}{$date});
}
for my $id (keys %latest) {
    for my $date (keys %{ $latest{$id} }) {
        say "$id\_$date\_$latest{$id}{$date}.txt";
    }
}

Answer 2

一个简单的awk解决方案

$ awk -F_ -vdate=`date +%Y%m%d` ' !($1 in file) && $2<=date {file[$1]=$0} ($1 in file){if($0>=file[$1]){file[$1]=$0}} END{ for(i in file)print file[i] }' f1
a_20171007_002.txt
b_20171007_001.txt

说明：

以yyyymmdd 格式将当前日期存储在date 变量中

在遍历记录/文件名时，如果文件名中的日期，即$2 小于或等于current date，并且数组file 中不存在前缀（例如a、b 等），则将其存储在file 数组中，例如。 file['a']=a_20171007_001.txt 否则它不会被存储，在这个例子中 c_20180101_001.txt 将被直接拒绝。

对于下一条记录，如果prefix 即$1 存在于数组file 中，则检查整个记录是否大于现有记录（按字典顺序）。如果是，覆盖file数组中的记录。

Answer 3

您能否尝试关注一下，如果这对您有帮助，请告诉我。

ls -ltr *.txt | awk -v date=$(date +%Y) -F"_" 'prev != $1 && val && date_val<=date{print val} {prev=$1;val=$0;date_val=substr($2,1,4)} END{if(date_val<=date){print val}}'

现在也添加一种可读性更好的解决方案。

ls -ltr *.txt |  awk -v date=$(date +%Y) -F"_" '
prev != $1 && val && date_val<=date{
  print val
}
{
prev=$1;
val=$0
date_val=substr($2,1,4)
}
END{
if(date_val<=date){
 print val
}
}'

Answer 4

GNU Awk 解决静态文件名格式<prefix>_<date>_<version>.txt:

示例ls -1 输出（扩展）：

a_20171007_001.txt
a_20171007_002.txt
b_20171007_001.txt
c_20180101_001.txt
a_20171007_0010.txt
b_20171007_004.txt

---

ls -1 | awk -F'[_.]' '{ k=$1"_"$2 }{ if (a[k]<$3) a[k]=$3 }
        END{ 
            for (i in a) { 
                split(substr(i, index(i,"_")+1), b, "");
                ts=mktime(sprintf("%d %d %d 00 00 00",b[1]b[2]b[3]b[4],b[5]b[6],b[7]b[8]));
                if (systime() >= ts) print i"_"a[i]".txt" 
            } 
        }'

输出：

b_20171007_004.txt
a_20171007_0010.txt

Answer 5

这个只在shell中可以（破折号）

d=$(date +%Y%m%d)
ls -1r *_*_*.txt|while IFS='_' read w x y
do
 [ "$x" -le "$d" ] && [ "$v" != "$w$x" ] && { echo "$w"_"$x"_"$y";v="$w$x";}
done

规格变化？？？ 试试这个

d=$(date +%Y%m%d)
ls -1r *_*_*.txt|while read l
do
 b="${l%_*_*}"
 a="${l#$b*_}"
 c="${a%_*}"
 [ "$c" -le "$d" ] && [ "$v" != "$b$c" ] && { echo "$l";v="$b$c";}
done

Answer 6

$ ls -1r | awk -v today="$(date +%Y%m%d)" -F'_' '($2 <= today) && !seen[$1,$2]++'
b_20171007_001.txt
a_20171007_002.txt