从 csv 保留行中删除换行符答案

【问题标题】：Remove linefeed from csv preserving rows从 csv 保留行中删除换行符
【发布时间】：2012-09-25 01:00:41
【问题描述】：

我有一个导出的 CSV，有些行在记录中间有一个换行符 (ASCII 012)。我需要用空格替换它，但保留每条记录的新行以加载它。

大部分线条都很好，但也有少数是这样的：

输入：

10 , ,"2007-07-30 13.26.21.598000" ,1922 ,0 , , , ,"Special Needs List Rows updated :
Row 1 : Instruction: other :Comment: pump runs all of the water for the insd's home" ,10003 ,524 ,"cc:2023" , , ,2023 , , ,"CCR" ,"INSERT" ,"2011-12-03 01.25.39.759555" ,"2011-12-03 01.25.39.759555"

输出：

10 , ,"2007-07-30 13.26.21.598000" ,1922 ,0 , , , ,"Special Needs List Rows updated :Row 1 : Instruction: other :Comment: pump runs all of the water for the insd's home" ,10003 ,524 ,"cc:2023" , , ,2023 , , ,"CCR" ,"INSERT" ,"2011-12-03 01.25.39.759555" ,"2011-12-03 01.25.39.759555"

我一直在研究 Awk，但无法真正理解如何保留实际行。

另一个例子：

输入：

9~~"2007-08-01 16.14.45.099000"~2215~0~~~~"Exposure closed (Unnecessary) : Garage door working
Claim Withdrawn"~~701~"cc:6007"~~564~6007~~~"CCR"~"INSERT"~"2011-12-03 01.25.39.759555"~"2011-12-03 01.25.39.759555"
4~~"2007-08-01 16.14.49.333000"~1923~0~~~~"Assigned to user Leanne Hamshere in group GIO Home Processing (Team 3)"~~912~"cc:6008"~~~6008~~~"CCR"~"INSERT"~"2011-12-03 01.25.39.759555"~"2011-12-03 01.25.39.759555"

输出：

9~~"2007-08-01 16.14.45.099000"~2215~0~~~~"Exposure closed (Unnecessary) : Garage door working Claim Withdrawn"~~701~"cc:6007"~~564~6007~~~"CCR"~"INSERT"~"2011-12-03 01.25.39.759555"~"2011-12-03 01.25.39.759555"
4~~"2007-08-01 16.14.49.333000"~1923~0~~~~"Assigned to user Leanne Hamshere in group GIO Home Processing (Team 3)"~~912~"cc:6008"~~~6008~~~"CCR"~"INSERT"~"2011-12-03 01.25.39.759555"~"2011-12-03 01.25.39.759555"

【问题讨论】：

可靠地执行此操作需要能够识别 CSV 格式（以及从波浪号分隔的示例判断的变体）的工具，这将允许您选择分布在两行或多行的字段并替换换行符重写前有空格。我会提名 Perl 和 Text::CSV 模块作为合适的工具来使用。

标签： bash csv awk

【解决方案1】：

一种使用GNU awk的方式：

awk -f script.awk file.txt

script.awk的内容：

BEGIN {
    FS = "[,~]"
}

NF < 21 {
    line = (line ? line OFS : line) $0
    fields = fields + NF
}

fields >= 21 {
    print line
    line=""
    fields=0
}

NF == 21 {
    print
}

或者，您可以使用这种单线：

awk -F "[,~]" 'NF < 21 { line = (line ? line OFS : line) $0; fields = fields + NF } fields >= 21 { print line; line=""; fields=0 } NF == 21 { print }' file.txt

解释：

我对您的预期输出进行了观察：似乎每行应包含 21 个字段。因此，如果您的行包含少于 21 个字段，请存储该行并存储字段数。当我们循环到下一行时，该行将使用空格连接到存储的行，以及总计的字段数。如果此字段数大于或等于 21（虚线字段的总和将增加到 22），则打印存储的行。否则，如果该行包含 21 个字段（NF == 21），则打印它。 HTH。

【讨论】：

【解决方案2】：

我认为sed 是您的选择。我假设所有记录都以非冒号字符结尾，因此如果一行以冒号结尾，则将其识别为异常并应连接到上一行。

代码如下：

cat data | sed -e '/[^"]$/N' -e 's/\n//g'

第一次执行-e '/[^"]$/N'匹配异常情况，在不清空缓冲区的情况下读入下一条记录。然后-e 's/\n//g' 去掉换行符。

【讨论】：

谢谢，这适用于上面的行，但它们并不总是以非冒号结尾。不幸的是，它可以是任何字符。
不客气。但是在您的情况下还有其他模式吗？例如虚线以单词开头（Row 等），而通常行以行号开头（示例中为10）？如果你想使用awk，你最好总结足够的模式。

【解决方案3】：

试试这个单线：

awk '{if(t){print;t=0;next;}x=$0;n=gsub(/"/,"",x);if(n%2){printf $0" ";t=1;}else print $0}' file

想法：计算一行中" 的数量。如果计数为奇数，则加入下一行，否则将当前行视为完整行。

【讨论】：