从bash中分隔符之间的文件中提取多行文本[重复]

Question

我正在尝试从文本文件中提取多行文本，其中值由分隔符分隔，并将其保存到字符串或数组中。大多数值都是通过 awk 提取并保存到变量中的，但是当我需要将特定产品的多行描述提取到变量/数组中时，就会出现问题。

简化的输入文件语法如下所示： ID;Name;value1;value2;DESCRIPTION;valueX;valueY;

我正在使用awk -F ";" '{print $1}' 提取第一个值，并将它们分配给未来操作的变量，它工作正常，但问题出现在“DESCRIPTION”部分，因为它带有 HTML 标记的多行。描述的外观示例：

value2;"<p>Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.</p>


<strong>Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.</strong>
<p>Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. </p>

<p style=""text-align: center;"">
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.</p>";valueX;valueY

您能否建议一种方法来完成这项工作，以便我可以将DESCRIPTION分配给bash脚本中的某种变量或数组并进一步操作它？

Answer 1

您（最初）要求提供基于awk 的解决方案。正如其他人在 cmets 中提到的那样，有更好的工具来完成这项工作。也就是说，基于4.9 Multiple-Line Records 和4.7 Defining Fields by Content，您可以尝试以下操作：

$ awk --version
GNU Awk 4.1.4, API: 1.1 (GNU MPFR 4.0.1, GNU MP 6.1.2)
[...]
$ awk 'BEGIN {RS = ";\n"; FPAT = "([^;]+)|(\"<p.+p>\")" } { print "NF = ", NF; for (i = 1; i <= NF; i++) { printf("$%d = %s\n", i, $i) } }' testfile

1. RS = ";\n" 在这里假设您的输入文件有多个 ID;Name;value1;value2;DESCRIPTION;valueX;valueY; 记录，并且这些记录用 ; 分隔（这是您的示例中 valueY 之后的 ;），后跟 newline。
2. FPAT = "([^;]+)|(\"<p.+p>\")" 是告诉(g)awk 记录字段的样子的“尽力而为”的方法。您可能需要根据需要对其进行修改。实际上说的是有两种字段格式（参见(...)|(...)）。第一种字段格式捕获不包含; 的字符串，用于捕获除DESCRIPTION 之外的所有字段。第二种字段格式捕获以"< 开头并以>" 结尾的字符串。

针对一个有2个ID;Name;value1;value2;DESCRIPTION;valueX;valueY;的文件：

$ cat testfile 
ID;Name;value1;value2;"<p>Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.</p>


<strong>Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.</strong>
<p>Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. </p>

<p style=""text-align: center;"">
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.</p>";valueX;valueY;
ID;Name;value1;value2;"<p>Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.</p>
  

<strong>Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.</strong>
<p>Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. </p>

<p style=""text-align: center;"">
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.</p>";valueX;valueY;

$ awk 'BEGIN {RS = ";\n"; FPAT = "([^;]+)|(\"<p.+p>\")" } { print "NF = ", NF; for (i = 1; i <= NF; i++) { printf("$%d = %s\n", i, $i) } }' testfile
NF =  7
$1 = ID
$2 = Name
$3 = value1
$4 = value2
$5 = "<p>Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.</p>


<strong>Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.</strong>
<p>Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. </p>

<p style=""text-align: center;"">
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.</p>"
$6 = valueX
$7 = valueY
NF =  7
$1 = ID
$2 = Name
$3 = value1
$4 = value2
$5 = "<p>Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.</p>
  

<strong>Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.</strong>
<p>Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. </p>

<p style=""text-align: center;"">
Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.</p>"
$6 = valueX
$7 = valueY