按列连接 csv 文件并包含文件名中的时间戳

Question

我想加入 500 个 csv 文件

我先解释一下 csv 格式，每个 csv 文件都命名为 log-yyyy-mm-dd.hh:mm:ss.csv

其结构没有列标题

eventID,number

例如

FLAGS-2,16
DOOR6-234,800

我想像这样格式化这些数据

eventID,filename,filename,filename  ---and so on for the 500+ files

eventID,log-2019-03-10.21:00:01.csv,log-2019-03-15.12:00:01.csv
FLAGS-2,16,54
FLAGS-3,16,9

我首先考虑使用 bash 和 awk 来做这件事，但当我发现偶尔如果数据没有记录在文件中时，我就放弃了。它不存储该 eventID 的数字

当我做find . -name '*.csv' | xargs wc -l

有些文件有 7803 行有些有 7800 等等

所以在一个文件中我可以有以下内容

FLAGS-2,16
FLAGS-3,19
FLAGS-4,02

还有下一个

FLAGS-2,16
FLAGS-4,02

下一个最好的方法是什么

谢谢

Answer 1

这是一个 bash/awk 解决方案，尽管它不是最有效的方法。但它足够清晰，易于理解和维护。

基本上，它首先创建标题行和joined.csv 文件。然后有一个循环用于查找所有 csv 文件中的所有唯一 ID。然后在每个 csv 文件中查找每个 key，将值附加到 line。然后最后将每个line 附加到生成的joined.csv 文件中。

#!/bin/bash

header=eventID
for csv_file in $( ls -1 log*csv)
do
    header="$header,$csv_file"
done
echo $header > joined.csv

for key in $( awk -F, '{print $1}' log*csv | sort -u )
do
    line=$key
    for csv_file in $( ls -1 log*csv)
    do
        value=$( grep $key $csv_file | awk -F, '{print $2}' )
        line="$line,$value"
    done
    echo $line >> joined.csv
done

希望这会有所帮助！