【问题标题】:Import netCDF file to Pandas dataframe将 netCDF 文件导入 Pandas 数据框
【发布时间】:2012-12-11 16:34:23
【问题描述】:

圣诞快乐!我对 Python 和 Pandas 还是很陌生,因此感谢您的帮助。我正在尝试读取 netCDF 文件,我可以这样做,然后将其导入 Pandas Dataframe。 netcDF 文件是 2D 的,所以我只想将其“转储”。我已经尝试过 DataFrame 方法,但它无法识别该对象。大概我需要将 netCDF 对象转换为 2D numpy 数组?再次感谢您提供有关最佳方法的任何想法。

【问题讨论】:

    标签: python dataframe pandas netcdf


    【解决方案1】:

    xarray 库处理任意维度的 netCDF 数据,并保留元数据。 Xarray 提供了一种打开 netCDF 文件并将它们转换为 pandas 数据帧的简单方法:

    import xarray as xr
    
    ds = xr.open_dataset('/path/to/netcdf')
    df = ds.to_dataframe()
    

    这将创建一个具有多索引的数据框,其中包含所有维度。不幸的是,Pandas 不支持任意元数据,因此在转换中会丢失,但您可以保留 ds,并使用其中的元数据。

    【讨论】:

      【解决方案2】:

      如果您的 NetCDF 文件(或 OPeNDAP 数据集)遵循 CF 元数据约定,您可以通过使用 NetCDF4-Python package 来利用它们,这使得在 Pandas 中访问它们变得非常容易。 (我正在使用包含 Pandas 和 NetCDF4-Python 的 Enthought Python 发行版)。

      在下面的示例中,NetCDF 文件通过 OPeNDAP 提供服务,NetCDF4-Python 库允许您打开和使用远程 OPeNDAP 数据集,就像它是本地 NetCDF 文件一样,这非常漂亮。如果您想查看 NetCDF4 文件的属性,请将您的浏览器指向此链接http://geoport-dev.whoi.edu/thredds/dodsC/HUDSON_SVALLEY/5951adc-a1h.nc.html

      您应该能够在不进行更改的情况下运行它:

      from matplotlib import pyplot as plt
      import pandas as pd
      import netCDF4
      
      url='http://geoport-dev.whoi.edu/thredds/dodsC/HUDSON_SVALLEY/5951adc-a1h.nc'
      vname = 'Tx_1211'
      station = 0
      
      nc = netCDF4.Dataset(url)
      h = nc.variables[vname]
      times = nc.variables['time']
      jd = netCDF4.num2date(times[:],times.units)
      hs = pd.Series(h[:,station],index=jd)
      
      fig = plt.figure(figsize=(12,4))
      ax = fig.add_subplot(111)
      hs.plot(ax=ax,title='%s at %s' % (h.long_name,nc.id))
      ax.set_ylabel(h.units)
      

      结果可以在 Ipython Notebook 中看到: http://nbviewer.ipython.org/4615153/

      【讨论】:

        【解决方案3】:

        您可以使用 PyNIO 之类的库将文件读入 p.e. numpy 数组并将它们提供给 pandas。
        PyNIO 允许读取多种文件格式,包括经典的 netCDF3 和 netCDF4。
        netcdf4-python 也可以读取这些 netCDF 格式并且兼容 py3.3

        【讨论】:

          猜你喜欢
          • 2020-10-04
          • 2019-09-01
          • 2019-10-13
          • 1970-01-01
          • 2018-12-29
          • 2021-01-21
          • 1970-01-01
          • 1970-01-01
          • 2019-04-20
          相关资源
          最近更新 更多