根据条件将bash中的CSV文件拆分为多个文件

Question

我的 csv 文件有多行数据，我想根据一个属性将其拆分为多个文件。

beeline -u jdbc:hive2:<MYHOST> -n <USER> -p <PASSWORD> --silent=true --outputformat=csv2 -f <SQL FILE> > result_+%Y%m%d_%H%M%S.csv

ORDER BY ID 的 SQL 代码是从创建单个 CSV 的直线触发的。

猫 sql.csv “属性；属性；ID；属性” “数据；数据；XXXX；日期” “数据；数据；XXXX；日期” “数据；数据；YYYYY；日期” “数据；数据；YYYYY；日期” "数据;数据;BBBBB;日期" "数据;数据;BBBBB;日期"

希望的结果是在识别出新的ID 后进行拆分，并在文件名中使用该ID。

file_1_ID_XXXX_+%Y%m%d_%H%M%S:

attr 属性 ID 属性 数据 数据 XXXX 日期 数据 数据 XXXX 日期

file_2_ID_YYYYY_+%Y%m%d_%H%M%S:

attr 属性 ID 属性 数据 数据 YYYYY 日期 数据 数据 YYYYY 日期

Answer 1

如果我理解您的问题，您可以获取 sql 生成的 csv 文件，然后将其拆分为您显示的 3 个文件，只需使用一些变量、字符串连接然后重定向到输出文件，例如

awk -v field=a -v n=1 -v dt=$(date '+%Y%m%d_%H%M%S') '
    FNR == 1 {hdg=$0; next}
    a != $3 {a = $3; name="file_"n"_ID_"a"_"dt; n++; print hdg > name}
    {print $0 > name}
' sqldata

输入文件示例

sqldata 文件包含的位置：

$ cat sqldata
attr    attr    ID  attr
data    data    XXXX    date
data    data    XXXX    date
data    data    YYYYY   date
data    data    YYYYY   date
data    data    BBBBB   date
data    data    BBBBB   date

示例使用/输出文件

只需将 awk 脚本复制并用鼠标中键粘贴到终端并使用正确的文件名读取即可生成以下三个输出文件：

$ cat file_1_ID_XXXX_20190805_033514
attr    attr    ID  attr
data    data    XXXX    date
data    data    XXXX    date

$ cat file_2_ID_YYYYY_20190805_033514
attr    attr    ID  attr
data    data    YYYYY   date
data    data    YYYYY   date

$ cat file_3_ID_BBBBB_20190805_033514
attr    attr    ID  attr
data    data    BBBBB   date
data    data    BBBBB   date

检查一下，让我知道这是否是您的意图。如果没有，请告诉我，我很乐意提供进一步帮助。