Xarray：将几个 CSV 文件加载到数据集中答案

【问题标题】：Xarray: Loading several CSV files into a datasetXarray：将几个 CSV 文件加载到数据集中
【发布时间】：2020-12-29 10:49:07
【问题描述】：

我有几个逗号分隔的数据文件，我想将它们加载到 xarray 数据集中。每个文件中的每一行代表固定网格中字段的不同空间值，每个文件代表不同的时间点。网格间距是固定的，不会随时间变化。网格的间距不均匀。最终目标是计算 max_{x, y} { std_t[ value(x, y, t) * sqrt(y **2 + x ** 2)] }，其中 sqrt 是平方根，std_t 是相对于时间的标准差，max_{x, y} 是所有空间的最大值。

我无法加载数据。我不清楚应该如何将多个 CSV 文件加载到 xarray 数据集中。有一个open_mfdataset 函数，旨在将多个数据文件加载到一个数据集中，但似乎需要 hdf5 或 netcdf 文件。

似乎无法将常规 CSV 文件加载到 xarray 数据集中，因此需要对数据进行预处理。在我的示例中，我决定预先将 csv 文件预处理为 hdf5 文件，以利用 h5netcdf 引擎。这对我来说似乎是一个 hdf5 特有的问题。

以下是我迄今为止加载数据的最佳尝试。不幸的是，它会导致一个空的 xarray 数据集。我在open_mfdataset函数中尝试了几个选项，下面的代码只是多次尝试使用该函数的一种实现。

如何将这些 csv 文件加载到单个 xarray 数据集中，以便自己找到感兴趣值的时间标准偏差的最大跨空间？

import xarray as xr
import numpy as np
import pandas as pd

'''
Create example files
- Each file contains a spatial-dependent value, f(x, y)
- Each file represents a different point in time, f(x, y, t)

'''
for ii in range(7):

   # create csv file
   fl = open('exampleFile%i.dat' % ii, 'w')
   fl.write('time x1 x2 value\n')
   for xx in range(10):
      for yy in range(10):
         fl.write('%i %i %i %i\n' % 
                  (ii, xx, yy, (xx - yy) * np.exp(ii)))
   fl.close()

   # convert csv to hdf5
   dat = pd.read_csv('exampleFile%i.dat' % ii)
   dat.to_hdf('exampleFile%i.hdf5' % ii, 'data', mode='w')

'''
Read all files into xarray dataframe
   (the ultimate goal is to find the 
      maximum across time of 
      the standard deviation across space
      of the "value" column)
'''
result = xr.open_mfdataset('exampleFile*.hdf5', engine='h5netcdf', combine='nested')

...当我运行代码时，result 变量似乎不包含所需的数据：

In: result
Out: 
<xarray.Dataset>
Dimensions:  ()
Data variables:
    *empty*
Attributes:
    PYTABLES_FORMAT_VERSION:  2.1
    TITLE:                    Empty(dtype=dtype('S1'))
    VERSION:                  1.0

编辑

发布了一个假设均匀间隔的空间网格的答案。这是一个稍微修改的示例，它不假设空间点的均匀间隔网格。

该示例还假设了三个空间维度。这更符合我的实际问题，我意识到这可能是这个简单示例中的一个重要细节。

import xarray as xr
import numpy as np
import pandas as pd

'''
Create example files
- Each file contains a spatial-dependent value, f(x, y)
- Each file represents a different point in time, f(x, y, t)

'''
for ii in range(7):

   # create csv file
   fl = open('exampleFile%i.dat' % ii, 'w')
   fl.write('time x y z value\n')
   for xx in range(10):
      for yy in range(int(10 + xx // 2)):
         for zz in range(int(10 + xx //3 + yy // 3)):
            fl.write('%i %f %f %f %f\n' % 
                    (ii, xx * np.exp(- 1 * yy * zz) , yy * np.exp(xx - zz), zz * np.exp(xx * yy), (xx - yy) * np.exp(ii)))
   fl.close()

   # convert csv to hdf5
   dat = pd.read_csv('exampleFile%i.dat' % ii)
   dat.to_hdf('exampleFile%i.hdf5' % ii, 'data', mode='w')

'''
Read all files into xarray dataframe
   (the ultimate goal is to find the 
      maximum across time of 
      the standard deviation across space
      of the "value" column)
'''
result = xr.open_mfdataset('exampleFile*.hdf5', engine='h5netcdf', combine='nested')

【问题讨论】：

所以你的csv中的x1是x坐标，x2是y?
@Val 是的，没错。很抱歉造成混乱，感谢您的澄清。
有什么理由必须使用xarray 而不仅仅是pandas？
@Val 基本上没有。我认为这个时空数据是一个 3D 数据框，所以我认为 xarray 是最合适的。一个功能性的 pandas 解决方案肯定会很有启发性，并会解决我的根本问题。
@kiloules 这实际上是您问题的核心 - xarray 并不擅长处理 ND 网格中的不规则点云。它设计用于操作规则网格。所以你有两个选择 - 如果你在每个观察集中有相同（或相似）数量的点，并且你将一次在一个暗淡上做很多操作（就像这个空间标准的例子）那么你可以将 obs_id 和 time 视为您的绳索，其中 x 和 y 是 obs_id 上的非索引坐标（本质上是元数据）。否则，我会推荐 pandas 并为此使用 group by ops。

标签： python python-xarray hdf

【解决方案1】：

我的方法是创建一个解析函数，将 CSV 转换为 xarray.Datasets。

这样，您可以使用xarray.concat 将它们组合成最终数据集，您可以在该数据集上执行计算。

以下内容适用于您的示例数据：

from glob import glob

def csv2xr(csv, sep=" "):
    
    df = pd.read_csv(csv, sep)
    x = df.x1.unique()
    y = df.x2.unique()
    
    pix = df.value.values.reshape(1, x.size, y.size)
    
    ds = xr.Dataset({
        "value": xr.DataArray(
            pix,
            dims=['time', 'x', 'y'],
            coords={"time": df.time.unique(), "x": x, "y": y})
    })
    
    return ds

csvs = glob("*dat")

ds_full = xr.concat([csv2xr(x) for x in csvs], dim="time")

print(ds_full)

#<xarray.Dataset>
# Dimensions:  (time: 7, x: 10, y: 10)
# Coordinates:
#   * time     (time) int64 4 3 2 0 1 6 5
#   * x        (x) int64 0 1 2 3 4 5 6 7 8 9
#   * y        (y) int64 0 1 2 3 4 5 6 7 8 9
# Data variables:
#     value    (time, x, y) int64 0 -54 -109 -163 -218 -272 ... 593 445 296 148 0

然后得到std 的最大值超过time：

ds_full.std("time").max()

【讨论】：

也可以合并成一个dataframe，然后用.to_xarray()的方法转换成dataset。
@iury 很有趣，这会导致与我的答案相同的数据集吗？
@Val 看起来这个答案假设了一个结构化且均匀分布的空间点网格。我无法解决我的问题——我有非结构化的空间数据点。非常感谢，我觉得你的回答还是很有用的。
我编辑了我的问题以添加一个带有非结构化网格的新示例。

【解决方案2】：

希望我能理解您的问题。看看这是否适合你。

在为read_csv 定义关键参数时，请注意使用delim_whitespace=True 而不是sep=" " 更好。如果您有双空格，这将避免考虑双列。

我将传递给read_csv time,x,y 和 z 都是坐标，我将它们转换为 xarray。它将自动构建您的非结构化数据并用NaN 填充漏洞。然后我通过time 将所有xarray 对象连接成一个对象。

from glob import glob

fnames = glob('*.dat')
fnames.sort()

kw = dict(delim_whitespace=True,index_col=['time','x','y','z'])

ds = xr.concat([pd.read_csv(fname,**kw).to_xarray() for fname in fnames],'time')

最终结果是一个xarray 对象，如下所示：

现在你可以用这个对象做任何事情了。

ds.max(['x','y','z']).std('time') 将返回所有变量的空间最大值的时间标准偏差（在这种情况下它只是value 列）。请注意，有时您可能必须传递 skipna=True 以避免在您的分析中产生 NaN 输出。

请让我知道它可以解决您的问题，如果它不能解决您在数据方面遇到的某些特定问题，我会很高兴对其进行调整。

【讨论】：