在python中找到一组netCDF文件中许多变量的中位数（5 giga数据）

Question

我在许多 netCDF 文件中注册了数据（大约 5 giga）（两年内每天一个文件）。在这些文件中有 17 个变量，我想找到这些变量的中位数。 我试图连接来自不同数据的每个变量的列表以找到中位数，但我的计算机崩溃了（我总共有 730 个文件。我有 17 个变量，每个变量的维度为 86400） 请问有什么有效的方法来做到这一点。我试过 MFDataset 但它也崩溃了 谢谢

list_of_paths = glob.glob('path/**/*.nc', recursive=True)

time = list(())
a = list(())
b = list(())
c = list(())
d = list(())
e = list(())
f = list(())
g = list(())
h = list(())
i = list(())
j = list(())
k = list(())
l = list(())
m = list(())
n = list(())
o = list(())
p = list(())


for  path in list_of_paths:
      nc=Dataset(path)      
      a.extend(list((nc.variables['c1twa-a'])))  
      b.extend(list((nc.variables['c1twa-b'])))
      c.extend(list((nc.variables['c1twa-c'])))
      d.extend(list((nc.variables['c1tu1-a'])))
      e.extend(list((nc.variables['c1tu1-b'])))
      f.extend(list((nc.variables['c1tu2-a'])))
      g.extend(list((nc.variables['c1tu2-b'])))
      h.extend(list((nc.variables['c1tu2-c'])))
      i.extend(list((nc.variables['c1tu3-a'])))
      j.extend(list((nc.variables['c1tu3-b'])))
      k.extend(list((nc.variables['c1tu4-a'])))
      l.extend(list((nc.variables['c1tu4-b'])))
      m.extend(list((nc.variables['c1tu5-a'])))
      n.extend(list((nc.variables['c1tu5-b'])))
      o.extend(list((nc.variables['c1tu6-a'])))
      p.extend(list((nc.variables['c1tu6-b'])))

然后我寻找每个变量列表的中位数

Answer 1

我不确定这是否可行，因为您的数据的内存需求似乎相当大，但理论上，如果您的文件具有类似

的名称格式

data_19810101.nc, data_19810102.nc   

等，即您可以使用带有

的通配符列出它们

ls data_*.nc 

然后您可以使用以下命令从命令行计算中位数：

cdo enspctl,50 data_*.nc median_output.nc

正如我所说，您可能有记忆问题。此外，cdo 需要同时打开所有文件，并且在某些系统上，打开文件的最大数量限制为 256。也许您想先在较少数量的文件上尝试该命令，或者只尝试一年 例如

cdo enspctl,50 data_2005*.nc median_output_2005.nc

顺便说一句，使用 ens 命令还可以轻松计算文件的其他统计信息

cdo ensmax
cdo ensmin
cdo ensmean
cdo ensvar

举几个例子。

Answer 2

一个（非常..）最小的例子，使用 xarray 和 numpy。 xarray 可以使用 Dask 以块的形式读取/处理数据，因此过多的内存使用通常不是问题。

import xarray as xr
import numpy as np

f = xr.open_mfdataset('ERA5_land_201812*.nc', combine='by_coords')

u10_median = np.median( f['u10'] )
v10_median = np.median( f['v10'] )
# et cetera..

对于您的问题（使用递归 glob），类似这样的方法可能有效：

import xarray as xr
import numpy as np
import glob

list_of_paths = glob.glob('path/**/*.nc', recursive=True)
f = xr.open_mfdataset(list_of_paths, combine='by_coords')

c1twa_a_median = np.median( f['c1twa-a'] )
# et cetera..