如何增量写入文本文件并刷新输出

Question

我的 Node.js 程序 - 这是一个普通的命令行程序，基本上不会做任何操作上不寻常的事情，没有任何系统特定或异步或类似的事情 - 需要不时将消息写入文件，然后它会被 ^C 打断，它需要文件的内容仍然存在。

我尝试过使用fs.createWriteStream，但结果只是一个 0 字节的文件。 （如果程序通过运行主文件的末尾而结束，则该文件确实包含文本，但这不是我所拥有的场景。）

我尝试过使用winston，但最终根本没有创建文件。 （如果程序通过运行主文件的末尾而结束，则该文件确实包含文本，但这不是我所拥有的场景。）

而fs.writeFile 可以在您预先准备好所有要编写的文本时完美运行，但似乎不支持一次追加一行。

推荐的方法是什么？

编辑：我尝试过的特定代码：

var fs = require('fs')

var log = fs.createWriteStream('test.log')
for (var i = 0; i < 1000000; i++) {
    console.log(i)
    log.write(i + '\n')
}

运行几秒钟，点击 ^C，留下一个 0 字节的文件。

Answer 1

原来 Node 提供了一个似乎工作正常的较低级别的文件 I/O API！

var fs = require('fs')

var log = fs.openSync('test.log', 'w')
for (var i = 0; i < 100000; i++) {
    console.log(i)
    fs.writeSync(log, i + '\n')
}

Answer 2

NodeJS 不能以传统方式工作。它使用单个线程，因此通过运行一个大循环并在内部执行 I/O，您没有机会（即释放 CPU）执行其他异步操作，例如：将内存缓冲区刷新到实际文件。

逻辑必须是 - 执行一个 write，然后将您的函数（调用写入）作为回调传递给 process.nextTick 或作为回调写入流的 drain 事件（如果缓冲区在上次写入期间已满)。

这是一个快速而肮脏的版本，可以满足您的需求。请注意，没有长时间运行的循环或其他 CPU 阻塞，而是我安排我的后续写入以供将来使用并快速返回，暂时释放 CPU 用于其他事情。

var fs = require('fs')

var log = fs.createWriteStream('test.log');
var i = 0;

function my_write() {
if (i++ < 1000000)
{
    var res = log.write("" + i + "\r\n");
    if (!res) {
        log.on('drain',my_write);
    } else {
        process.nextTick(my_write);
    }
    console.log("Done" + i + " " + res + "\r\n");
}
}

my_write();

Answer 3

这个功能也可能有用。

/**
 * Write `data` to a `stream`. if the buffer is full will block
 * until it's flushed and ready to be written again.
 * [see](https://nodejs.org/api/stream.html#stream_writable_write_chunk_encoding_callback)
 */
export function write(data, stream) {
  return new Promise((resolve, reject) => {
    if (stream.write(data)) {
      process.nextTick(resolve);
    } else {
      stream.once("drain", () => {
        stream.off("error", reject);
        resolve();
      });
      stream.once("error", reject);
    }
  });
}

Answer 4

您正在使用 for 循环写入文件，这很糟糕，但这是另一种情况。首先 createWriteStream 不会自动关闭文件，您应该调用 close。 如果你在 for 循环之后立即调用 close，它会在不写入的情况下关闭，因为它是异步的。

欲了解更多信息，请阅读此处：https://nodejs.org/api/fs.html#fs_fs_createwritestream_path_options

问题是 for 循环中的异步函数。