【问题标题】:Retaining n most recent directories in a backup script在备份脚本中保留 n 个最近的目录
【发布时间】:2017-11-08 04:23:56
【问题描述】:

我在/home/backup/ 中有一个目录,用于存储年度备份。在备份文件夹中,我们有以下目录:

/home/backup/2012
/home/backup/2013
/home/backup/2014
/home/backup/2015
/home/backup/2016
/home/backup/2017

每年我都要清理数据,只保留最近三年的备份。

在上述情况下,我必须删除:

/home/backup/2012
/home/backup/2013
/home/backup/2014

找到要删除的目录的最佳方法是什么?我有这个,但它不起作用:

find /home/ecentrix/recording/ -maxdepth 1 -mindepth 1 -type d -ctime +1095 -exec rm -rf {} \;

你们还有别的想法吗?

【问题讨论】:

    标签: linux bash unix backup


    【解决方案1】:

    由于您的目录具有明确定义的整数名称,因此我只需使用 bash 来计算适当的目标:

    mkdir -p backup/201{2..7} # just for testing
    
    cd backup
    rm -fr $(seq 2012 $(( $(date +"%Y") - 3)))
    

    seq 生成从 2012 年到当年减去 3 的数字列表,然后将其传递给 rm 进行爆破。

    【讨论】:

    • 您的命令行完美运行!但是如何在你的命令中添加目录?我需要将命令添加到 cron 作业中,而我的命令行技能不太好。对不起..
    • 将 cd backup 更改为 cd /full/path/to/your/backup/directory 即可。或者,如果您的 seq 具有 -f 选项,则可以使用完整路径创建文件名。
    • 这是最简单正确的命令。我可以像* * 1 1 * echo $(seq -f "/home/backup/%02g" 2012 $(( $(date +"%Y") - 3))) 一样对其进行改进以显示完整目录并将其添加到每年的 cronjob 中。它只显示备份目录,所以它只删除备份文件目录,而不是其他目录。非常感谢@bishop
    • 这相当优雅。请记住,任何脚本都有机会以意想不到的方式执行。我总是让任何脚本调用递归删除感到紧张。请认真考虑将备份设置为属于专用用户,然后调用修剪,作为同一专用(否则完全没有特权)用户。
    • 我比我更喜欢这个解决方案
    【解决方案2】:

    解决方案

    # Check if extended globbing is on
    shopt extglob
    
    # If extended globbing is off, run this line
    shopt -s extglob
    
    # Remove all files except 2015, 2016, and 2017
    rm -r -i /home/backup/!(2015|2016|2017)
    
    # Turn off extended globbing (optional)
    shop -u extglob
    

    说明

    shopt -s extglob 允许您匹配除!(...) 内的文件以外的任何文件。所以该行意味着删除/home/backup 中的任何文件,除了2015、2016 或2017。

    rm -r -i ... 中的-i 标志允许您以交互方式确认删除每个文件。如果您希望自动删除文件,请删除 -i。

    动态日期

    此解决方案适用于自动化(例如 cron 作业)

    # Number of latest years to keep
    LATEST_YEARS=3
    
    # Get the current year
    current_year=$(date '+%Y')
    
    # Get the first/earliest year to keep
    first_year=$(( current_year - $(($LATEST_YEARS - 1)) ))
    
    # Turn on extended globbing
    shopt -s extglob
    
    # Store years to keep in an array
    keep_years=( $(seq $first_year $current_year) )
    
    # Specify files to keep
    rm -r /home/backup/!(${keep_years[0]}|${keep_years[1]}|${keep_years[2]})
    

    注意:备份目录中的所有文件都将被删除,最近 3 年除外

    【讨论】:

    • 你会如何将它添加到 crontab 中?
    • OP 没有提到他们希望它自动化。不过,我会答应的。
    • 我已经在@ShammelLee这个问题上说过了。我需要每年运行它。所以,我需要将它添加到 cron 作业中。谢谢vagoberto
    • @user1008497 您的问题没有提到您需要以自动化方式运行它。不过,请参阅我的更新答案。
    【解决方案3】:

    更通用的解决方案

    我认为最好是按降序遍历目录,然后删除第三个之后的目录。这样,当脚本一次又一次地运行时,就不会有丢失目录的危险:

    #!/bin/bash
    backups_to_keep=3
    count=0
    cd /home/backup
    while read -d '' -r dir; do
      [[ -d "$dir" ]]                || continue  # skip if not directory
      ((++count <= backups_to_keep)) && continue  # skip if we are within retaining territory
      echo "Removing old backup directory '$dir'" # it is good to log what was cleaned up
      echo rm -rf -- "$dir"
    done < <(find . -maxdepth 1 -name '[2-9][0-9][0-9][0-9]' -type d -print0 | sort -nrz)
    

    测试后删除rm -rf之前的echo。对于您的示例,它给出了以下输出:

    rm -rf -- ./2014
    rm -rf -- ./2013
    rm -rf -- ./2012
    
    • cd /home/backup 将 rm -rf 限制为该目录以提高安全性
    • find . -maxdepth 1 -name '[2-9][0-9][0-9][0-9]' -type d 给出与 glob 匹配的顶级目录
    • sort -nrz 确保较新的目录首先出现,-z 处理 find ... -print0 的空终止输出
    • 此解决方案不会对年份进行硬编码 - 它只是假设要删除的目录以可数字排序的方式命名
    • 它对备份目录中存在的任何其他文件或目录具有弹性
    • 脚本反复运行没有副作用
    • 这可以轻松扩展以支持备份目录的不同命名约定 - 只需更改 glob 表达式

    【讨论】:

    • 很好的解决方案和很好的解释。
    【解决方案4】:

    考虑一下:

    find /home/backup/2* -maxdepth 1 | sort -r | awk "NR>3" | xargs rm -rf
    

    这是如何工作的

    1. 生成以“2”开头的文件名列表,仅在 /home/backup/

    2. 下
    3. 按字母顺序倒序排列列表。

    4. 使用 AWK 过滤列表中的行数。 NR 指定反向排序的行数。您可以将该 3 更改为您希望保留的行数。因此,如果您只想要最近两年,请将 3 更改为 2。如果您希望保留最新的 10 个,请将其设为 "NR>10"。

    5. 将结果列表附加到命令“rm -rf”。

    以专用用户身份运行,以确保安全

    这里的危险是我建议rm -rf。这是有风险的。如果出现问题,您可以删除要保留的内容。我通过仅由仅有权删除备份文件(且无权删除)的专用用户调用这些命令来降低此风险。

    优点

    这种方法的优点是,当您将其放入 cron 作业中并且时间提前时,它将继续仅保留最新的几个目录。因此,我认为这是您问题的一般解决方案。

    演示

    为了对此进行测试,我创建了一个包含所有相同目录的测试目录。我改变它只是为了看看最后会执行什么,所以我尝试了:

    find test01/2* -maxdepth 1 | sort -r | awk "NR>4" | xargs echo rm -rf
    

    我使用 NR>4 而不是 NR>3(如您所愿),因为 NR>4 表明我们正在选择要从列表中删除的行数,因此不会删除。

    这是我得到的:

    上面的 second-to-final 命令将最后阶段更改为 echo 它会做什么,而是实际去做。

    当我在我的一些服务器上使用它时,我在脚本中有一个转储的粗略副本,您可以在此处查看:https://github.com/docdawning/teenybackup

    成功所需

    这种方法取决于 find 命令生成的任何内容的字母顺序。在我的例子中,我使用ISO-8601 type dates,当它们按字母顺序排列时,它们完全适合于固有的日期排序。您的 YYYY 类型日期完全符合要求。

    附加安全

    我建议您将备份更改为存储为 tar 存档。然后你可以把 rm -rf 改成一个简单的 rm。这要安全得多,尽管不是万无一失的。无论如何,您确实应该以专用的非特权用户身份运行它(在我看来,您应该对任何调用删除的脚本执行此操作)。

    请注意,如果您以

    开头
    find /home/backup
    

    然后对 xargs 的调用将包括 /home/backup 本身,这将是一场灾难,因为它也会被删除。因此,您必须在该路径中进行搜索。而不是用下面的方法调用它会起作用:

    find /home/backup/* 
    

    我上面给出的 2* 只是在某种程度上限制搜索操作的一种方式。

    保修

    无;这就是互联网。当心。大量测试以说服自己。另外,也许还可以进行一些离线备份。


    最后 - 我之前发布了这个作为答案,但是犯了一个致命的错误,即表示 find 命令基于 /home/backup 而不是 /home/backup/* em> 或 /home/backup/2*。这导致 /home/backup 也被发送删除,这将是一场灾难。这是我在上面试图澄清的一个非常小的区别。我已经删除了之前的答案,并用这个答案替换了它。

    【讨论】:

      【解决方案5】:

      这是一种方法。

      更新答案。

      [dev]$ find backup/*  | grep -vE "$(date '+%Y')|$(date +%Y --date='1 year ago')|$(date +%Y --date='2 year ago')" | xargs  rm -rfv
      
      removed directory: ‘backup/2012’
      removed directory: ‘backup/2013’
      removed directory: ‘backup/2014’
      

      【讨论】:

        【解决方案6】:

        如果你想删除目录,你应该输入以下命令

        sudo rm -r [folder name]
        #in your case it will be 
        sudo rm -r /home/backup/2012
        sudo rm -r /home/backup/2013
        sudo rm -r /home/backup/2014
        

        【讨论】:

        • 这是假设只有 3 个旧目录需要删除。
        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 2015-09-11
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2022-01-16
        • 1970-01-01
        相关资源
        最近更新 更多