删除所有早于 X 天的文件，但至少保留 Y 最年轻的文件 [重复]

Question

我有一个脚本可以从备份目录中删除早于 X=21 天的数据库转储：

DB_DUMP_DIR=/var/backups/dbs
RETENTION=$((21*24*60))  # 3 weeks

find ${DB_DUMP_DIR} -type f -mmin +${RETENTION} -delete

但是，如果出于某种原因，DB 转储作业有一段时间未能完成，所有转储最终都会被丢弃。因此，作为保障，我希望至少保留最年轻的 Y=7 转储，即使它们全部或部分都超过 21 天。

我寻找比这意大利面更优雅的东西：

DB_DUMP_DIR=/var/backups/dbs
RETENTION=$((21*24*60))  # 3 weeks
KEEP=7

find ${DB_DUMP_DIR} -type f -printf '%T@ %p\n' | \  # list all dumps with epoch
sort -n | \                                         # sort by epoch, oldest 1st
head --lines=-${KEEP} |\                            # Remove youngest/bottom 7 dumps
while read date filename ; do                       # loop through the rest
    find $filename -mmin +${RETENTION} -delete      # delete if older than 21 days
done

（这个 sn-p 可能有一些小错误 - 忽略它们。这是为了说明我自己能想出什么，以及为什么我不喜欢它）

编辑：查找选项“-mtime”是一次性的：“-mtime +21”实际上意味着“至少 22 天”。这总是让我感到困惑，所以我使用 -mmin 代替。还是一次性的，但只有一分钟。

Answer 1

使用find 获取所有足以删除的文件，使用tail 过滤掉最年轻的$KEEP，然后将其余的传递给xargs。

find ${DB_DUMP_DIR} -type f -printf '%T@ %p\n' -mmin +$RETENTION |
  sort -nr | tail -n +$KEEP |
  xargs -r echo

如果报告的文件列表是您要删除的列表，请将 echo 替换为 rm。

（我假设所有转储文件的名称中都没有换行符。）

Answer 2

我打开第二个答案是因为我有一个不同的解决方案 - 一个使用 awk：只需将时间添加到 21 天（以秒为单位）期间，减去当前时间并删除负数！ （在排序并从列表中删除最新的 7 个之后）：

DB_DUMP_DIR=/var/backups/dbs
RETENTION=21*24*60*60  # 3 weeks
CURR_TIME=`date +%s`

find ${DB_DUMP_DIR} -type f -printf '%T@ %p\n' | \
  awk '{ print int($1) -'${CURR_TIME}' + '${RETENTION}' ":" $2}' | \
  sort -n | head -n -7 | grep '^-' | cut -d ':' -f 2- | xargs rm -rf

Answer 3

这些答案都不适合我，所以我调整了 chepner 的答案并得出了这个结论，它只保留了最后的 $KEEP 备份。

find ${DB_DUMP_DIR} -printf '%T@ %p\n' | # print entries with creation time
  sort -n |                              # sort in date-ascending order
  head -n -$KEEP |                       # remove the $KEEP most recent entries
  awk '{ print $2 }' |                   # select the file paths
  xargs -r rm                            # remove the file paths

我相信 chepner 的代码保留了$KEEP 最旧的，而不是最年轻的。

Answer 4

您可以使用-mtime而不是-mmin这意味着您不必计算一天中的分钟数：

find $DB_DUMP_DIR -type f -mtime +21

而不是删除它们，您可以使用stat命令按顺序对文件进行排序：

find $DB_DUMP_DIR -type f -mtime +21 | while read file
do
    stat -f "%-10m %40N" $file
done | sort | awk 'NR > 7 {print $2}'

这将列出超过21天的所有文件，但不是7天年龄最小的文件。

从那里，您可以将其送入Xargs以进行删除：

find $DB_DUMP_DIR -type f -mtime +21 | while read file
do
    stat -f "%-10m %40N" $file
done | sort | awk 'NR > 7 {print $2]' | xargs rm

当然，这一切都假定您在文件名中没有空格。如果你这样做，你必须采取略微不同的大头钉。

这也将使七个最小的文件保持在21天超过21天。您可能有比那个更年轻的文件，不想真正保留这些。但是，您可以再次简单地运行相同的顺序（除了删除-mtime参数：

find $DB_DUMP_DIR -type f |  while read file
do
    stat -f "%-10m %40N" $file
done | sort | awk 'NR > 7 {print $2} | xargs rm

您需要查看stat命令，看看该格式的选项。这从系统到系统变化。我使用的那个是OS X. Linux是不同的。

---

让我们采取略微不同的方法。我没有彻底测试过这个，但是：

如果所有文件都在同一目录中，并且均未包含其中的空格：

ls -t | awk 'NR > 7 {print $0}'

将打印出所有文件除了七个最年轻的文件 em>之外。也许我们可以随之而来？

current_seconds=$(date +%S)   # Seconds since the epoch
((days = 60 * 60 * 24 * 21))  # Number of seconds in 21 days
((oldest_allowed = $current_seconds - $days)) # Oldest allowed file
ls -t | awk 'NR > 7 {print $0}' | stat -f "%Dm %N" $file | while date file
do
    [ $date < $oldest_allowed ] || rm $file
done

ls ... | awk将刮掉七个最小。之后，我们可以使用stat获取文件的名称和日期。由于日期是时代之日起，我们必须计算在时秒前的当前时间前21天的时间。

之后，这很简单。我们查看文件的日期。如果它在时期前21天（即，它的时间戳较低）我们可以删除它。

正如我所说，我没有彻底测试这一点，但这将删除超过21天的所有文件，只有超过21天的文件，但始终保持七个最小。

Answer 5

我最终使用的是：

• 始终保留最后 N 项
• 剩下的，如果文件超过 X 天，删除它

for f in $(ls -1t | tail -n +31); do
   if [[ $(find "$f" -mtime +30 -print) ]]; then
      echo "REMOVING old backup: $f"
      rm $f
   fi
done

解释：

ls，按时间排序，跳过前 30 项：$(ls -1t | tail -n +31)

测试find 是否可以找到超过 30 天的文件：if [[ $(find "$f" -mtime +30 -print) ]]

Answer 6

你可以自己做循环：

t21=$(date -d "21 days ago" +%s)
cd "$DB_DUMP_DIR"
for f in *; do
    if (( $(stat -c %Y "$f") <= $t21 )); then
        echo rm "$f"
    fi
done

我假设你有 GNU date

Answer 7

这是一个 BASH 函数，应该可以解决问题。我无法轻易避免两次调用find，但除此之外，这是一个相对的成功：

#  A "safe" function for removing backups older than REMOVE_AGE + 1 day(s), always keeping at least the ALWAYS_KEEP youngest
remove_old_backups() {
    local file_prefix="${backup_file_prefix:-$1}"
    local temp=$(( REMOVE_AGE+1 ))  # for inverting the mtime argument: it's quirky ;)
    # We consider backups made on the same day to be one (commonly these are temporary backups in manual intervention scenarios)
    local keeping_n=`/usr/bin/find . -maxdepth 1 \( -name "$file_prefix*.tgz" -or -name "$file_prefix*.gz" \) -type f -mtime -"$temp" -printf '%Td-%Tm-%TY\n' | sort -d | uniq | wc -l`
    local extra_keep=$(( $ALWAYS_KEEP-$keeping_n ))

    /usr/bin/find . -maxdepth 1 \( -name "$file_prefix*.tgz" -or -name "$file_prefix*.gz" \) -type f -mtime +$REMOVE_AGE -printf '%T@ %p\n' |  sort -n | head -n -$extra_keep | cut -d ' ' -f2 | xargs -r rm
}

它需要一个backup_file_prefix 环境变量，或者它可以作为第一个参数传递，并期望环境变量ALWAYS_KEEP（要保留的最小文件数）和REMOVE_AGE（传递给-mtime 的天数）。它需要 gz 或 tgz 扩展名。您可以在 cmets 中看到其他一些假设，主要是以安全的名义。

感谢 ireardon 和 his answer（他们完全回答问题）的启发！

快乐的安全备份管理:)

Answer 8

从其他解决方案中给出的解决方案中，我进行了实验，发现了许多不想要的错误或情况。

这是我最终想出的解决方案：

  # Sample variable values
  BACKUP_PATH='/data/backup'
  DUMP_PATTERN='dump_*.tar.gz'
  NB_RETENTION_DAYS=10
  NB_KEEP=2                    # keep at least the 2 most recent files in all cases

  find ${BACKUP_PATH} -name ${DUMP_PATTERN} \
    -mtime +${NB_RETENTION_DAYS} > /tmp/obsolete_files

  find ${BACKUP_PATH} -name ${DUMP_PATTERN} \
    -printf '%T@ %p\n' | \
    sort -n            | \
    tail -n ${NB_KEEP} | \
    awk '{ print $2 }'   > /tmp/files_to_keep

  grep -F -f /tmp/files_to_keep -v /tmp/obsolete_files > /tmp/files_to_delete

  cat /tmp/files_to_delete | xargs -r rm

这些想法是：

• 大多数时候，我只想保留不超过 NB_RETENTION_DAYS 的文件。
• 但是，糟糕的事情发生了，当由于某种原因没有最近的文件时（备份脚本已损坏），为了安全起见，我不想删除最近的 NB_KEEP（NB_KEEP 应该至少为 1）。

我的情况，我每天有 2 个备份，并将 NB_RETENTION_DAYS 设置为 10（因此，在正常情况下，我通常有 20 个文件） 有人可能会认为我会因此设置 NB_KEEP=20，但实际上我选择了 NB_KEEP=2，这就是为什么：

假设我的备份脚本坏了，一个月没有备份。我真的不在乎拥有超过 30 天的 20 个最新文件。至少拥有一个是我想要的。 但是，能够轻松识别出问题是非常重要的（显然我的监控系统确实是盲目的，但这是另一点）。让我的备份文件夹中的文件比平时少 10 倍，这可能会敲响警钟……