组合 awk 命令输出的多个搜索显示在一行中

Question

我的输入如下

<connection name="test1" transport="tcp">
<LPort>host1:11111</hostPort>
<hostPort>host1:11111</hostPort>
<abcd> 1234

<connection name="test2" transport="tcp">
<hostPort>host2:22222</hostPort>
<GPort>host1:12111</hostPort>

<connection name="xyz1" transport="tcp">
<hostPort>host3:33333</hostPort>
<FPort>host1:12113</hostPort>
<efgi> 5678

<connection name="xyz2" transport="tcp">
<LPort>host1:12234</hostPort>
<hostPort>host4:4444</hostPort>

我希望我的输出如下：

test1  host1 1111
test2  host2 2222
xyz1   host3 3333
xyz2   host4 4444

为了解决这个问题，这就是我所做的并且它有效。但在我看来，一定有更好更简单的方法，我没有包括整个逻辑（数组）；但是当我有多个时，我一直在使用这种方法 在文件中搜索并且它可以工作。我尝试使用 && 命令组合 awk 命令，但失败了。

以下是我的代码和逻辑的一部分 1）我 cat 文件 2）摆脱多余的字符并用空格替换使用sed 3）我取我想要的值并分配给数组值使用awk 请注意我没有包括其余的逻辑（但它有效） 简而言之，我做了一个 while 循环，然后将值分配给 2 或 3 个数组并在同一行打印它们以获得所需的输出

cat file  | grep -A5 connection  | sed s'/[:="><]/ /g' | awk '/name/ {print $3}'
cat file | grep -A5 connection  | sed s'/[:="><]/ /g' | awk '/hostPort/ {print $2 " " $3}'

如果可能，请提供不涉及使用 sed/awk 或任何其他方式将我的搜索条件存储在数组中的替代解决方案？

如果您能提供解决方案，请提供每个选项的详细信息；如果你可以的话。

谢谢

Answer 1

强制提醒：假设您的输入是格式良好的 XML，使用 XML 解析器将提供更强大的解决方案（见底部）。

这是一个单一实用程序awk 解决方案：

awk -v RS= -F '<connection name="|<hostPort>' '
  {
    sub(/".*/, "", $2)
    split($3, tokens, /[:<]/)
    printf "%-6s %s %s\n", $2, tokens[1], tokens[2]
  }
' file

• -v RS= 告诉awk 按段落将输入拆分为记录，其中段落是一系列非空行。

• -F '<connection name="|<hostPort>' 通过出现<connection name=" 或(|) <hostPort> 将每个段落拆分为字段，因此感兴趣的数据将位于第二个的开始和第三个字段（$2 和 $3）。

• sub(/".*/, "", $2) 从字段 2 中删除第一个 " 之后的所有内容，实际上只留下连接名称。

• split($3, tokens, /[:<]/) 通过: 和< 的出现将第三个字段拆分为一个标记数组，在第一个数组元素中生成主机名，在第二个数组元素中生成端口。

• printf "%-6s %s %s\n", $2, tokens[1], tokens[2] 打印输出行，将连接名称右填充至至少 6 个带空格的字符，如示例输出中所示；如果您只想用一个空格分隔输出字段，只需省略 -6。

---

可选阅读：可在 shell 脚本中使用的 XML 解析实用程序 (CLI)

• xmllint 在一些平台上预装：

  • ma​​cOS/FreeBSD/PC-BSD（可能是其他 BSD 变体）
  • 一些 Linux 发行版：Fedora、CentOS
  • 在其他情况下，可能会提供软件包；例如，在 Ubuntu 上：
    sudo apt-get install libxml2-utils
  • 警告：虽然xmllint 支持XPath 1.0 查询，但它几乎无法控制输出格式。

• 按需安装替代方案 - 优于 xmllint：

  • xmlstarlet

    • xmlstarlet 功能强大且灵活，支持广泛的操作。

    • ma​​cOS：通过Homebrew 和brew install xmlstarlet 安装

    • Linux：很可能它可以通过您平台的包管理器安装；例如，在基于 Debian 的发行版上，例如 Ubuntu：
      sudo apt-get install xmlstarlet
    • Windows：从sourceforge手动下载并安装。

  • xidel

    • xidel 需要手动download and installation，但它的强大和灵活性弥补了这种不便。

    • 支持 Linux、ma​​cOS 和 Windows

---

以下是对比上面列出的 3 个实用程序的解决方案。

假设file 中包含以下格式正确的 XML 文档 - 请注意 <connection> 元素现在如何包含在单个顶级 <doc> 元素中：

<doc>
  <connection name="test1" transport="tcp">
    <LPort>host1:11111</LPort>
    <hostPort>host1:11111</hostPort>
    <abcd>1234</abcd>
  </connection>

  <connection name="test2" transport="tcp">
    <hostPort>host2:22222</hostPort>
    <GPort>host1:12111</GPort>
  </connection>

  <connection name="xyz1" transport="tcp">
    <hostPort>host3:33333</hostPort>
    <FPort>host1:12113</FPort>
    <efgi>5678</efgi>
  </connection>

  <connection name="xyz2" transport="tcp">
    <LPort>host1:12234</LPort>
    <hostPort>host4:4444</hostPort>
  </connection>
</doc>

---

xmllint解决方案：

xmllint 缺乏对查询结果格式的控制需要一个重要的awk 辅助命令：

echo 'cat //connection/@name | //hostPort/text()' | xmllint --shell file | awk -F\" '
  NR % 2 { next }                  # skip separator lines
  NR % 4 == 2 { conn = $2; next }  # save connnection name
  { 
    split($0, tokens, ":")
    printf "%-6s %s %s\n", conn, tokens[1], tokens[2] 
  }
'

---

xmlstarlet解决方案：

xmlstarlet 的sel 子命令通过在后台将选项转换为 XLST 模板来支持非常灵活的提取：

xmlstarlet sel -t  -m '//connection' -v 'str:align(@name, "      ")' \
           -o ' ' \
           -c 'str:replace(hostPort, ":", " ")' -n file

---

xidel解决方案：

xidel非常灵活，不仅支持XML，还支持HTML和JSON。

虽然它不支持 XLST，但它支持 XQuery，这是 XPath 的超集，具有类似 XSLT 的功能，可实现强大的转换。^{向Reino 致敬。}
然而，据我所知，没有填充功能，因此使用了 - 直接 - 辅助 awk 命令：

xidel file -q --xquery \
  'for $c in //connection return concat($c/@name, " ", replace($c/hostPort, ":", " "))' |
    awk '{ printf "%-6s %s %s\n", $1, $2, $3 }'

也就是说，XQuery 甚至支持用户定义的函数，所以你可以编写自己的填充函数：

xidel -q file --xquery '
  declare function pad($s as xs:string?) as xs:string 
  {
    substring(concat($s, "      "), 1, 6)
  }
  for $c in //connection return concat(pad($c/@name), " ", replace($c/hostPort, ":", " "))
'

Answer 2

使用单一 sed 方法：

sed -n '/<connection/{N;N; s/<connection name="\([^"]*\)".*<hostPort>\([^:]*\):\([^<]*\).*/\1 \2 \3/p}' file

输出：

test1 host1 11111
test2 host2 22222
xyz1 host3 33333
xyz2 host4 4444

---

• N;N; - 将接下来的 2 行附加到模式空间（包括换行符）

• connection name="\([^"]*\) - 捕获连接名称

• <hostPort>\([^:]*\):\([^<]*\) - 捕获主机名和端口号

Answer 3

合并空行分隔的块并使用反向引用从每个块中提取所需的值：

sed '${/^$/!{H;s/.*//;};};/^$/!{H;d;};/^$/{x;s/^\n<connection name="\([^"]*\)".*<hostPort>\([^:]*\):\([^<]*\).*/\1 \2 \3/;};' file