性能问题 - 循环通过许多 xml 文件

Question

我有一份价值长达数年的每日 xml 报告，我正在尝试查看每一份报告并找到购买日期，并确定它是否比文件日期至少早一年。如果是这样，我将文件名和购买日期写入日志。问题是性能真的很差。

#!/bin/bash

for file in *xml ; do
fileDate=`echo ${file} | cut -c 18-35 | sed 's/.xml//'`
fileDateSeconds=`date --date="${fileDate}" +"%s"`
awk '/PurchaseDate/ {print}' ${file} >> /tmp/yamExport/tempFile.txt
cat /tmp/yamExport/tempFile.txt | while read input
do
        lineDate=`echo ${input} | cut -c 15-24`
        lineDateSeconds=`date --date="${lineDate}" +"%s"`
        delta=`expr $fileDateSeconds - $lineDateSeconds`
        if [ "$delta" -gt "31556926" ]
        then
        #echo "$file : $input"
        echo "$file : $input" >> /tmp/yamExport/yamExportTimestamps2.log
        fi
done
done

一开始我只是逐行遍历整个文件

cat ${file} | while read input
do
        if [[ "$input" =~ "PurchaseDate" ]]
        then

但后来我确定使用 awk 快速抓取所有带有 PurchaseDate 的行并输出到临时文件然后循环遍历会更快（但仍然很慢）。如果有人对我如何提高性能有任何建议，那将非常有帮助。我可以像循环一样对 awk 语句的输出进行操作吗？如果我能做到这一点，我认为性能会好得多。

感谢任何提示。

Answer 1

将 awk 输出写入临时文件肯定会影响您的性能。此外，您正在 追加 到该临时文件，因此您正在为 每个 后续 xml 文件处理第一个 xml 文件的结果。

此代码最大限度地减少了您需要调用的外部进程的数量

for file in *xml ; do
    fileDateSeconds=$(date --date="${file:17:18}" +"%s")
    grep -F 'PurchaseDate' "$file" |
    while read input; do
        lineDateSeconds=$(date --date="${input:14:10}" +"%s")
        if (( (fileDateSeconds - lineDateSeconds) > 31556926 )); then
            echo "$file : $input"
        fi
    done
done > /tmp/yamExport/yamExportTimestamps2.log

我将awk 更改为grep，这是在文件中查找行的更合适的工具。

将重定向移到外循环之外的输出文件应该会减少必须打开文件的次数。

Answer 2

这里有一些想法：

#!/bin/bash

for file in *xml ; do
fileDate=`echo ${file} | cut -c 18-35 | sed 's/.xml//'`
fileDateSeconds=`date --date="${fileDate}" +"%s"`
grep PurchaseDate ${file} | while read input
do
    lineDate=`echo ${input} | cut -c 15-24`
    lineDateSeconds=`date --date="${lineDate}" +"%s"`
    delta=$((fileDateSeconds - lineDateSeconds))
    if [ "$delta" -gt "31556926" ]
    then
    echo "$file : $input"
    fi
done
done > /tmp/yamExport/yamExportTimestamps2.log