使用 Node.JS（LTS）读取重文件（>~10Gb）的最有效方法是什么？答案

【问题标题】：What is the most efficient way to read heavy files(>~10Gb) using Node.JS(LTS)?使用 Node.JS（LTS）读取重文件（>~10Gb）的最有效方法是什么？
【发布时间】：2018-11-25 13:03:17
【问题描述】：

使用 Node.JS(LTS) 读取大文件 (>~10Gb) 的最有效方法是什么？

基本上在当今世界，我需要读取文件内容，将每一行解析为已知的数据结构，执行某些验证，并将数据结构推送到数据库（SQL Server）中。我使用 C#（内存映射文件）来做到这一点。它工作得很好，因为我能够分块（并行）读取文件。

我计划将解决方案迁移到 Node（和 MongoDB）以用于业务用例。

有任何线索/建议吗？

环境：

我使用的是 64 位 Windows 操作系统、基于 x64 的处理器、8G 内存

【问题讨论】：

标签： node.js file memory-mapped-files

【解决方案1】：

您要查找的内容通常在node.js 中称为流。

您可以使用流通过处理部分文件来读取或写入非常大的文件。

这里有一些链接可以帮助您入门。

Parsing huge logfiles in Node.js - read in line-by-line

Using Node.js to Read Really, Really Large Datasets & Files

Read large text files in nodejs

【讨论】：

另外...通常有标准的过滤流和流解析器来处理常见的文件类型。