【问题标题】:Atomic file create & write原子文件创建和写入
【发布时间】:2021-12-15 10:48:33
【问题描述】:

我想创建一个新文件并向其中写入一些数据(之后不会有其他写入)。 Modern Rust 提供了一个方便的函数fs::write(),但我想确保没有其他进程能够读取带有部分写入数据的文件。

Rust 中是否有一个函数可以直接执行此操作,或者我应该像这样“手动”执行此操作:

let mut f = File::create(FILE_TEMP)?;
f.write_all(some_data)?;
fs::rename(FILE_TEMP, FILE_FINAL)?;

我通常以 Linux 为目标,但最好是跨平台解决方案。

【问题讨论】:

  • 现有的两个答案提到锁定文件。这可能很好,但是如果写入应用程序崩溃、被杀死或以任何方式中断(例如电源故障),这仍然允许读取部分数据。在这种情况下,中间文件 + 重命名更加健壮。
  • 请记住,大多数(如果不是全部)解决方案都基于 advisory 文件锁定。不想看到部分数据的进程必须在读取之前显式获取锁。如果它继续继续读取,它会得到那里的任何东西。
  • 您现有的解决方案几乎是最佳方法。请注意,您仍然可以使用std::fs::write(),只需将其命名为FILE_TEMP 作为文件名。

标签: rust atomic


【解决方案1】:

在我看来,没有比问题中发布的更好的解决方案,但形式略有缩短(感谢 user4815162342 的注释):

fs::write(FILE_TEMP, some_data)?;
fs::rename(FILE_TEMP, FILE_FINAL)?;

对于这种特殊情况,基于锁的解决方案似乎并不能真正解决任何问题。此外,它们需要更多的代码,而且通常更容易出错。

我能想到的我的方法的唯一潜在副作用是,如果在写入过程中发生问题,我们最终可能会得到一些悬空的临时文件。有些人可能认为这是一个问题,有些人可能认为这是一件好事,这可能有助于故障排除等。另外,如果我们希望操作系统为我们自动清理那些悬空的临时文件,我们可以简单地制作FILE_TEMP指向系统的临时文件夹(假设它在同一个文件系统上/参见下面的 cmets/,否则 fs::rename() 函数将失败)。这就是为什么我个人认为这是一件好事。

【讨论】:

  • 至少在 Linux 上,在系统临时目录(通常是/tmp)中创建临时文件不太可能工作。 rename 仅在源文件和目标文件位于同一文件系统上时才有效; /tmp 通常是内存中的文件系统。我认为最好的做法是在与目标相同的目录中创建临时文件。
  • @jmou 您对文件系统的看法是正确的-临时文件夹必须位于同一文件系统上(我在答案中添加了此信息)。我检查了 3 个不同的 Ubuntu 18/20 虚拟机——它们中的所有 /tmp 似乎都在“主”文件系统 /dev/vda1 上(我使用 df /tmp 来检查)。
  • 很好的说明! Fedora 和 Arch 默认为 /tmp 使用 tmpfs。
【解决方案2】:

fs2 crate 有一个可以锁定文件以进行独占访问的功能:

https://docs.rs/fs2/0.4.3/fs2/trait.FileExt.html

文件锁在 Unix 上用 flock(2) 实现,在 Windows 上用 LockFile 实现。

【讨论】:

    【解决方案3】:

    您可以使用fs2 crate 锁定文件。这是一个锁定文件的示例,取自this answer。

    //! This program tries to lock a file, sleeps for N seconds, and then unlocks the file.
    
    // cargo-deps: fs2
    extern crate fs2;
    
    use fs2::FileExt;
    use std::io::Result;
    use std::env::args;
    use std::fs::File;
    use std::time::Duration;
    use std::thread::sleep;
    
    fn main() {
        run().unwrap();
    }
    
    fn run() -> Result<()> {
        let sleep_seconds = args().nth(1).and_then(|arg| arg.parse().ok()).unwrap_or(0);
        let sleep_duration = Duration::from_secs(sleep_seconds);
    
        let file = File::open("file.lock")?;
    
        println!("{}: Preparing to lock file.", sleep_seconds);
        file.lock_exclusive()?; // block until this process can lock the file
        println!("{}: Obtained lock.", sleep_seconds);
    
        sleep(sleep_duration);
    
        println!("{}: Sleep completed", sleep_seconds);
        file.unlock()?;
        println!("{}: Released lock, returning", sleep_seconds);
    
        Ok(())
    }
    

    【讨论】:

    • 感谢您的回答,但我真的看不出它比我在问题中描述的带有临时文件和重命名的“基本”解决方案更好。这个有一个外部的 crate 依赖,需要 reader 也获取锁,并且通常风险更大。当您想要同步对现有文件的访问时,我认为文件级锁定非常有用,您可以多次读取和写入该文件。就我而言,我们谈论的是单个创建和写入操作(之后没有后续写入)
    【解决方案4】:

    tempfile crate 是一个方便的选择。 NamedTempFile 有一个 persist 方法来执行原子重命名。

    let final_path = std::path::Path::new("some/dir/file");
    let mut file = tempfile::NamedTempFile::new_in(final_path.parent().unwrap())?;
    file.write_all(b"some data")?;
    file.persist(final_path)?;
    

    这与您的解决方案的作用相同,尽管它也可以在 Windows 上运行。

    临时文件和最终文件必须在同一个文件系统上,这就是new_in明确指定临时目录的原因。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-12-11
      • 2014-10-07
      • 1970-01-01
      • 1970-01-01
      • 2012-08-14
      • 2022-01-25
      • 2012-04-05
      • 2019-06-20
      相关资源
      最近更新 更多