bash 中的 Unix 脚本来搜索日志并返回特定日志文件的特定部分

Question

我敢说，我主要是一个 Windows 人（请不要太早把我击倒），虽然我过去在 Linux 中玩过（主要是命令行）。 我有一个过程，我必须偶尔经历一次，本质上是在一个目录（和子目录）中的所有日志文件中搜索某个文件名，然后从所述日志文件中获取一些内容。

我的第一步是

grep -Ril <filename or Partial filename you are looking for> log/*.log

据此我有日志文件名，我vi 可以找到它发生的位置。 澄清一下：grep 正在查看所有日志文件，查看 -Ril 之后的文件名是否出现在其中。

vi log/<log filename>
/<filename or Partial filename you are looking for>

我做了几次j 以找到 CDATA，然后我有一个需要提取的 URL，然后在 putty 中进行选择，复制并粘贴到浏览器中。 然后我退出vi 而不保存。

---

FRED1 triggered at Mon Aug 31 14:09:31 NZST 2015 with incoming file /u03/incoming/fred/Fred.2
Fred.2
start grep
end grep
Renamed to Fred.2.20150831140931

    <?xml version="1.0" encoding="UTF-8"?>
    <runResponse><runReturn><item><name>runId</name><value>1703775</value></item><item><name>runHistoryId</name><value>1703775</value></item><item><name>runReportUrl</name><value>https://<Servername>:<port and path>b1a&amp;sp=l0&amp;sp=l1703775&amp;sp=l1703775</value></item><item><name>displayRunReportUrl</name><value><![CDATA[https://<Servername>:<port and path2>&sp=l1703775&sp=l1703775]]></value></item><item><name>runStartTime</name><value>08/31/15 14:09</value></item><item><name>flowResponse</name><value></value></item><item><name>flowResult</name><value></value></item><item><name>flowReturnCode</name><value>Not a Return</value></item></runReturn></runResponse>
    filePath=/u03/incoming/fred&fileName=Fred.2.20150831140931&team=dps&direction=incoming&size=31108&time=Aug 31 14:09&fts=nzlssftsd01

----------------------------------------------------------------------------------------
FRED1 triggered at Mon Aug 31 14:09:31 NZST 2015 with incoming file /u03/incoming/fred/Fred.3
Fred.3
start grep
end grep
Renamed to Fred.3.20150999999999

    <?xml version="1.0" encoding="UTF-8"?>
    <runResponse><runReturn><item><name>runId</name><value>1703775</value></item><item><name>runHistoryId</name><value>1703775</value></item><item><name>runReportUrl</name><value>https://<Servername>:<port and path>b1a&amp;sp=l0&amp;sp=l999999&amp;sp=l9999999</value></item><item><name>displayRunReportUrl</name><value><![CDATA[https://<Servername>:<port and path2>&sp=l999999&sp=l999999]]></value></item><item><name>runStartTime</name><value>08/31/15 14:09</value></item><item><name>flowResponse</name><value></value></item><item><name>flowResult</name><value></value></item><item><name>flowReturnCode</name><value>Not a Return</value></item></runReturn></runResponse>
    filePath=/u03/incoming/fred&fileName=Fred.3.20150999999999&team=dps&direction=incoming&size=31108&time=Aug 31 14:09&fts=nzlssftsd01

我要获取的是CDATA[https://<Servername>:<port and path2>&sp=l999999&sp=l999999] 中Fred.3.20150999999999 的URL，由Renamed to Fred.3.20150999999999 行指示。

这可能吗？ （我对 XML 格式表示歉意，但它与日志文件中的完全相同。）

提前致谢，
电话

Answer 1

sed -n 's@\(.*CDATA\[\)\(.*\)\(\]\].*\)@\2@p'  <logfile>

-n 禁止自动打印图案空间

@ - 作为 sed 模式分隔符

( ) - 对模式进行分组

\2 - 第二个模式

p - 打印

**更新 - grep 文件模式**

grep -Ril <filename or Partial filename you are looking for> log/*.log | xargs sed -n "/<pattern>/,/filePath=/p" | sed -n 's@\(.*CDATA\[\)\(.*\)\(\]\].*\)@\2@p'

xargs 将前一个命令的输出作为输入文件。

如果模式是 Fred.3.20150999999999，第一个 sed 将从匹配的模式打印到 filePath=，下一个 sed 将在其中提取 CDATA。

Answer 2

虽然您的grep 命令可用于定位文件，但find 命令更灵活且更合适。定位日志文件的基本用途类似于：

find /path/to/logdir -type f -name "partial*.log"

这将在/path/to/logdir 下递归搜索名称与模式"partial*.log" 匹配的文件-type f。

隔离 url 可以与其他答案类似，但在这里使用多个表达式，您可以使用以下方法隔离 url：

sed -e 's/^.*CDATA\[\(http[^]]*\).*$/\1/' <logfilename> \
    -e '/^$/'d \
    -e '/^[ \t\n].*$/'d

输出：

https://<Servername>:<port and path2>&sp=l1703775&sp=l1703775

第一个表达式将 url 本身与您的 <logfilename> 隔离开来，第二个表达式抑制任何空白行，最后，第三个表达式删除以 [空格、制表符或换行符] 开头的返回片段。

如果您可以调整您的 find 命令以可靠地返回您需要从中检索 url 的确切文件，那么您可以将您的 find 和 sed 命令一起编写为：

sed -e 's/^.*CDATA\[\(http[^]]*\).*$/\1/' \
    $(find /path/to/logdir -type f -name "partial*.log") \
    -e '/^$/'d \
    -e '/^[ \t\n].*$/'d

您只需使用 命令替换 将 <logfilename> 替换为包含在 $(...) 中的 find 命令。

注意有许多不同的方式来编写sed 替换，有些可能比这个更优雅，但这就是sed 的强大之处。试一试，如果您遇到问题，请告诉我。我希望这会有所帮助。