通过带有计数器的模式在bash中解析多个CSV文件

Question

假设我有文件

• 报告-x-1.csv
• report-x-2.csv
• report-x-3.csv
• report-y-1.csv
• report-y-2.csv
• report-y-3.csv

我得到了第二列的最后一个值，有点格式

 awk -v max=0 '{if($1>max){want=$2; max=$1}}END{print "x:";print want} ' report-x-1.csv >> test.txt

如何处理任意数量的 .csv 文件并在顶部设置计数器？

awk -v max=0 '{if($1>max){want=$2; max=$1}}END{print "x:";print want} ' report-x-* >> test.txt

只为第一个文件做一些事情。

我最终需要的是一个像这样的 .csv，但输入文件的数量是任意的：

x1 , 300
x2 , 250
x3 , 300
y1 , 270
y2 , 250
y3 , 280

编辑：
我还没有详细尝试每个想法，为了更清楚，这里有两个示例文件

https://pastebin.com/VMb32ULc

https://pastebin.com/qXQnagQ9

这些文件可以命名为 report-x-1.csv 和 report-y-1.csv，输出文件应包含两行 x-1: 156. ... 和 y-1: 300. .. ..（这是最后一行第二列）
该解决方案应该适用于上述多个输入文件。

Answer 1

请您尝试以下操作。由于没有提供样品，因此无法对其进行测试。但这应该比遍历所有 csv 文件并在每次迭代中调用 awk 的 for 循环更快。

以下是本计划中的注意事项：

• 无需使用for 循环遍历.csv 文件，因为awk 可以做到这一点。
• OP 的代码不负责从文件名中获取 x、y 值，我也添加了该逻辑。
• 也可以根据需要在代码BEGIN部分设置输出文件名。

---

---

awk -v max=0 '
BEGIN{
  OFS=" , "
  output_file="output.txt"
}
FNR==1{
  if(want){
    print output":"ORS want > (output_file)    
  }
  split(FILENAME,array,"[-.]")
  output=array[2] array[3]
  want=max=""
}
{
  if($1>max){
    want=$2
    max=$1
  }
}
END{
  print output":"ORS want > (output_file)
}
' *.csv

由 OP 修正的错字

Answer 2

要为目录中的每个文件运行脚本，您可以使用管道传输文件名并使用xargs -n1：

echo report-x-*.csv | xargs -n1 awk -v max=0 '{if($1>max){want=$2; max=$1}}END{print "x:";print want}' >> test.txt

Answer 3

也许可以试试：

for file in $(ls)
do
    echo 'Doing something to file:' $file
    awk -v max=0 '{if($1>max){want=$2; max=$1}}END{print "x:";print want} ' $file >> test.txt
done

或许：

for file in $(ls)
do
    if [[ $file == *.csv ]]; then
        echo 'Doing something to file:' $file
        awk -v max=0 '{if($1>max){want=$2; max=$1}}END{print "x:";print want} ' $file >> test.txt
    fi
done