如何使用 shell 脚本将文件名替换为该文件的内容

Question

假设我有一个文件，其中包含任意数量的其他文件名（在可识别的分隔符中），例如

original-file-contents-which-should-remain
{{filename.txt}}
more-untouchable-contents
{{dir/myfile.md}}

如何使用 shell 脚本将文件名（和分隔符），即 {{filename.txt}} 和 {{dir/myfile.md}} 替换为相应文件的内容？

我尝试过使用 sed，虽然如果我对目标文件名进行硬编码，它可以工作，但它无法从正则表达式中捕获文件名——即，以下内容删除了 {{myfile}}，但没有输入 @987654325 的内容@（我猜可能正则表达式捕获仅适用于 s/old/new 命令）：

sed -e "/{{\(.*\)}}/ { r \1" -e "d}" somefile

Answer 1

如果你有 GNU sed，那么你可以像这样使用e flag for the s command：

sed -f - input_file <<'EOS'
    s/^\s*{{\([^']*\)}}\s*$/cat '\1'/e
EOS

首先将包含文件名的模式替换为 shell 命令cat filename，然后运行命令并将其输出通过管道传送回模式空间。

如您所见，sed 程序是从文本 here-doc 加载的，而不是通常的单引号字符串，因为它允许使用单引号将文件名括在 shell 命令中，同时保持整个 sed 命令干净（除非您完全信任输入文件的内容，否则单引号比双引号更安全）。再次为了安全起见，地址正则表达式防止文件名中出现单引号，并使用开始/行尾锚点来确保 shell 命令不会被可能的前导/尾随部分污染。

正如 KamilCuk 所指出的，您也可以使用 GNU awk。它带有一个附加函数库，例如readfile，这里很好地避免了shell命令。

gawk -i readfile '
    ! match($0, /^\s*\{\{(.*)}}\s*$/, refs) { print ; next }
    { printf "%s", readfile(refs[1]) }
' input_file

（由于portable answer from Ed Morton，更新了模式周围可能的空间和不需要的转义）

Answer 2

这将与给定输入的每个 UNIX 框上的任何 shell 中的任何 awk 一起使用，例如您的示例：

awk '
match($0,/\{\{.*}}/) {
    fname = substr($0,RSTART+2,RLENGTH-4)
    while ( (getline < fname) > 0 ) {
        print
    }
    close(fname)
    next
}
{ print }
' file

例如

$ cat tam
When chapman billies leave the street,
And drouthy neebors neebors meet,
As market-days are wearing late,
{{foo}}
We think na on the lang Scots miles,
The mosses, waters, slaps, and stiles,
{{bar}}
Gathering her brows like gathering storm,
Nursing her wrath to keep it warm.

$ cat foo
And folk begin to tak the gate;
While we sit bousin, at the nappy,
And gettin fou and unco happy,

$ cat bar
That lie between us and our hame,
Whare sits our sulky, sullen dame,

.

awk '
match($0,/\{\{.*}}/) {
    fname = substr($0,RSTART+2,RLENGTH-4)
    while ( (getline < fname) > 0 ) {
        print
    }
    close(fname)
    next
}
{ print }
' tam
When chapman billies leave the street,
And drouthy neebors neebors meet,
As market-days are wearing late,
And folk begin to tak the gate;
While we sit bousin, at the nappy,
And gettin fou and unco happy,
We think na on the lang Scots miles,
The mosses, waters, slaps, and stiles,
That lie between us and our hame,
Whare sits our sulky, sullen dame,
Gathering her brows like gathering storm,
Nursing her wrath to keep it warm.

示例输入由Rabbie Burns提供。

Answer 3

使用vim 的ex 版本：

ex -c 'g/{{/s/{{\([^}]*\)}}/\=readfile(submatch(1))/g' -c 'x!' input.txt