将大型 CSV 文件转换为 NetCDF

Question

我想将如下300万行150列的CSV格式的浮点矢量数据文件转换成NetCDF格式。

0.3,0.9,1.3,0.5,...,0.9
-5.1,0.1,1.0,8.4,...,6.7
...

首先，我尝试了类似 cache-all-the-data-and-then-convert-it 的算法，但它不起作用，因为它无法为缓存分配内存。 所以我需要用 convert-one-by-one 算法编写的代码。

有人知道这样的解决方案吗？

我的机器内存容量为8 MiB，C、Java、Python等任何编程语言都可以。

Answer 1

使用python可以逐行读取文件。

with open("myfile.csv") as infile:
    for line in infile:
        appendtoNetcdf(line)

因此您不必将所有文件内容加载到内存中。

查看netCDF4-python library，您可以轻松创建一个 netcdf4 或多个 netcdf4 文件。