在 csv 文件中输出最小值的重复项答案

【问题标题】：Output the smallest valued duplicate in a csv file在 csv 文件中输出最小值的重复项
【发布时间】：2013-02-22 07:43:49
【问题描述】：

我有一个 CSV 文件，其中包含大量价格不同的重复项目，并且该文件已排序。我想比较所有重复的项目并查看哪个重复项目的价格最低，然后将价格最低的重复项目导出到新文件字段用逗号分隔所以原始 CSV 文件：

01,香蕉,7.00
01,香蕉,6.00
01,香蕉,7.00
01,香蕉,9.00
02,芒果,5.00
02,芒果,3.00
02,芒果,3.00
02，芒果，4.00

输出 CSV 文件应该是

01,香蕉,6.00
02,芒果,3.00

我目前在 bash 中编码，想知道 awk 是否可以做到这一点。

【问题讨论】：

【解决方案1】：

awk '!($1" "$2 in x) || x[$1" "$2] > $3 {x[$1" "$2] = $3}
     END {for (item in x) print item, x[item]}' file.txt

所以如果x中没有找到商品编号+名称，或者保存的价格大于当前行，我们执行大括号中的代码：

在END，我们循环遍历x 中的所有项目，并打印项目和保存的价格。

【讨论】：

【解决方案2】：

由于文件已排序（按键分组），您可以尝试这样做以节省一些内存并保持顺序：

awk '
  p!=$1 OFS $2 {
    if(p)print p,v
    p=$1 OFS $2
    v=$3
    next 
  } 
  $3<v {
    v=$3
  } 
  END{
    print p,v
  }
' FS=, OFS=, file

或者如果 $1 是唯一键，你也可以试试这个：

awk '
  p x!=$1 {
    if(p x)print s
    p=$1
    s=$0
    v=$3
    next 
  } 
  $3<v {
    v=$3
  } 
  END{
    print s
  }
' FS=, file

注意：如果是带有引号字段的 csv 文件，那么脚本需要变得更复杂。

【讨论】：