awk 根据过滤器输出到文件

Question

我有一个很大的CSV 文件，我需要根据其中一列中的值将其切成不同的部分。我的输入文件dataset.csv 是这样的：

注意：已编辑以澄清数据是 ,data, 没有空格。

action,action_type, Result
up,1,stringA
down,1,strinB
left,2,stringC

所以，用action_type 分割我只是这样做（我需要结果文件中的整个匹配行）：

awk -F, '$2 ~ /^1$/ {print}' dataset.csv >> 1_dataset.csv
awk -F, '$2 ~ /^2$/ {print}' dataset.csv >> 2_dataset.csv

这按预期工作，但我基本上遍历了我的原始数据集两次。我的原始数据集大约 5GB，我有 30 个action_type 类别。我每天都需要这样做，所以我需要编写脚本让它自己高效地运行。

我尝试了以下方法，但它不起作用：

# This is a file called myFilter.awk

{
action_type=$2;
if (action_type=="1") print $0 >> 1_dataset.csv;
else if (action_type=="2") print $0 >> 2_dataset.csv;
}

然后我运行它：

awk -f myFilter.awk dataset.csv

但我什么也得不到。从字面上看，什么都没有，甚至没有错误。哪一种告诉我我的代码根本不匹配任何东西，或者我的打印/管道语句是错误的。

Answer 1

您可以尝试使用这个 awk 在单个命令中执行此操作：

awk -F, 'NR > 1{fn = $2 "_dataset.csv"; print >> fn; close(fn)}' file

Answer 2

使用 GNU awk 处理许多同时打开的文件，并且不复制每个输出文件中的标题行：

awk -F',' '{print > ($2 "_dataset.csv")}' dataset.csv

或者如果您还希望标题行显示在每个输出文件中，那么使用 GNU awk：

awk -F',' '
    NR==1 { hdr = $0; next }
    !seen[$2]++ { print hdr > ($2 "_dataset.csv") }
    { print > ($2 "_dataset.csv") }
' dataset.csv

或与任何 awk 相同：

awk -F',' '
    NR==1 { hdr = $0; next }
    { out = $2 "_dataset.csv" }
    !seen[$2]++ { print hdr > out }
    { print >> out; close(out) }
' dataset.csv

Answer 3

按照目前的编码，输入字段分隔符尚未定义。

当前：

$ cat myfilter.awk
{
action_type=$2;
if (action_type=="1") print $0 >> 1_dataset.csv;
else if (action_type=="2") print $0 >> 2_dataset.csv;
}

调用：

$ awk -f myfilter.awk dataset.csv

有几种方法可以解决这个问题：

$ awk -v FS="," -f myfilter.awk dataset.csv

或

$ cat myfilter.awk
BEGIN {FS=","}
{
action_type=$2
if (action_type=="1") print $0 >> 1_dataset.csv;
else if (action_type=="2") print $0 >> 2_dataset.csv;
}

$ awk -f myfilter.awk dataset.csv