awk/sed 替换换行符

Question

简介：

我收到了一个 CSV 文件，其中字段分隔符是管道字符（即|）。 该文件具有预定义数量的字段（例如N）。我可以通过读取 CSV 文件的标题来发现 N 的值，我们可以假设它是正确的。

问题：

某些字段错误地包含换行符，这使该行看起来比要求的短（即，它具有M 字段，带有M < N）。

我需要创建一个sh 脚本（不是bash）来修复这些行。

尝试的解决方案：

我尝试创建以下脚本来尝试修复文件：

if [ $# -ne 1 ]
then
    echo "Usage: $0 <filename>"
    exit
fi

# get first line
first_line=$(head -n 1 $1)

# get number of fields
num_separators=$(echo "$first_line" | tr -d -c '|' | awk '{print length}')

cat $1  | awk -v numFields=$(( num_separators + 1 )) -F '|' '
{
    totRecords = NF/numFields
    # loop over lines
    for (record=0; record < totRecords; record++) {
        output = ""
        # loop over fields
        for (i=0; i<numFields; i++) {
            j = (numFields*record)+i+1 
            # replace newline with question mark
            sub("\n", "?", $j)
            output = output (i > 0 ? "|" : "") $j 
        }
        print output
    }
}
'

但是，换行符仍然存在。 我该如何解决这个问题？

CSV 示例：

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a
newline
Foo|Bar|Baz

预期输出：

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a * newline
Foo|Bar|Baz

* I don't care about the replacement, it could be a space, a question mark, whatever except a newline or a pipe (which would create a new field)

Answer 1

$ cat tst.awk
BEGIN { FS=OFS="|" }
NR==1 { reqdNF = NF; printf "%s", $0; next }
{ printf "%s%s", (NF < reqdNF ? " " : ORS), $0 }
END { print "" }

$ awk -f tst.awk file.csv
FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a newline
Foo|Bar|Baz

如果这不是您想要的，请编辑您的问题以提供更具代表性的示例输入和相关输出。

Answer 2

基于最后一个字段可能包含一个换行符的假设。使用 tac 和 sed：

tac file.csv | sed -n '/|/!{h;n;x;H;x;s/\n/ * /p;b};p' | tac 

输出：

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a * newline
Foo|Bar|Baz

---

它是如何工作的。向后读取文件，sed 更容易没有前向引用。如果一行没有'|'分隔符/|/!，运行花括号{}; 中的代码块，否则只需p 打印该行。代码块：

1. h; 将无分隔符的行存储在 sed 的 hold 缓冲区中。
2. n; 获取另一行，因为我们正在向后阅读，这是应该附加到到的行。
3. x; 交换保持缓冲区和模式缓冲区。
4. H; 追加模式缓冲区到保持缓冲区。
5. x; 将新添加的行交换到模式缓冲区，现在一个缓冲区中有两行。
6. s/\n/ * /p; 将中间换行替换为“ * ”，现在只有一个 longer 行；并打印。
7. b重新开始，离开代码块。

用tac重新反转文件；完成。