多个 dask/xarray 数据集的平均温度的分块计算

Question

我有 2 个文件夹，分别包含 MIN 和 MAX 温度 netCDF 文件。

我正在尝试计算它们之间的平均温度。

最初我使用numpy.mean() 进行计算，但由于它占用了我的内存，我决定使用dask 块计算均值

import dask
import xarry


DS_MIN = xarray.open_mfdataset(MIN_TEMPS_FILES, chunks={'time': 10}, concat_dim='time', combine='by_coords').temp
DS_MAX = xarray.open_mfdataset(MAX_TEMPS_FILES, chunks={'time': 10}, concat_dim='time', combine='by_coords').temp
DS_MEAN = dask.array.from_array([DS_MIN, DS_MAX], chunks={'time': 10}).mean(axis=0)

但不幸的是，结果相同。 RAM 已被计算完全占用。

我不明白我做错了什么。

Answer 1

DS_MIN = xarray.open_mfdataset(MIN_TEMPS_FILES, chunks={'time': 10}, concat_dim='time', combine='by_coords').temp
DS_MAX = xarray.open_mfdataset(MAX_TEMPS_FILES, chunks={'time': 10}, concat_dim='time', combine='by_coords').temp

# I don't see a reason to call Dask on these things again, they're already dask-y
# DS_MEAN = dask.array.from_array([DS_MIN, DS_MAX], chunks={'time': 10}).mean(axis=0)

dask.compute(DS_MIN.mean(axis=0), DS_MAX.mean(axis=0))