【问题标题】:"Parallel" indexing in pandas (not hierarchical)熊猫中的“并行”索引(非分层)
【发布时间】:2013-11-11 11:29:30
【问题描述】:

短版:我有两个 TimeSeries(记录开始和记录结束)我想用作面板(或 DataFrame)中数据的索引。不是分层的,而是并行的。我不确定如何做到这一点。

长版:

我正在构建一个 pandas 面板,其中包含一些类似于距天线一定距离的温度和密度的数据。在我看来,最自然的结构是具有例如temp 和 dens 作为项目(即面板的子数据帧),记录时间作为长轴(索引),因此与天线的距离作为短轴(列)。

我的问题是:对于每次记录,仪器都会在一段时间内进行平均/积分。因此,对于每个数据转储,都会保存两个时间戳:开始记录和结束记录。我需要这两个。因此,我需要一些可能被称为“并行索引”的东西,其中两个不同的时间序列(startRec 和endRec)作为索引工作,我可以为某个数据点获取我喜欢的任何一个。当然,我真的不需要两者都index,但两者都需要在数据结构中自然可用。例如,对于任何给定的温度或密度记录,我都需要能够获取记录的开始时间和结束时间。

我当然可以将两个 TimeSeries 保存在一个单独的 DataFrame 中,但是 pandas 的重点是自动数据对齐,这并不是很理想。

我怎样才能最好地做到这一点?

示例数据

在距天线两个距离处包含三个记录的示例面板:

import pandas as pd
import numpy as np

data = pd.Panel(data={'temp': np.array([[21, 20],
                                        [19, 17],
                                        [15, 14]]),
                      'dens': np.array([[1001, 1002],
                                        [1000, 998],
                                        [997, 995]])},
                minor_axis=['1m', '3m'])

data的输出:

<class 'pandas.core.panel.Panel'>
Dimensions: 2 (items) x 3 (major_axis) x 2 (minor_axis)
Items axis: dens to temp
Major_axis axis: 0 to 2
Minor_axis axis: 1m to 3m

这里,长轴目前只是一个基于整数的索引(0 到 2)。短轴是距天线的两个测量距离。

我有两个TimeSeries 我想用作索引:

from datetime import datetime
startRec = pd.TimeSeries([datetime(2013, 11, 11, 15, 00, 00),
                          datetime(2013, 11, 12, 15, 00, 00),
                          datetime(2013, 11, 13, 15, 00, 00)])

endRec = pd.TimeSeries([datetime(2013, 11, 11, 15, 00, 10),
                        datetime(2013, 11, 12, 15, 00, 10),
                        datetime(2013, 11, 13, 15, 00, 10)])

startRec 的输出:

0   2013-11-11 15:00:00
1   2013-11-12 15:00:00
2   2013-11-13 15:00:00
dtype: datetime64[ns]

【问题讨论】:

  • 你能展示一个带有示例输出的示例框架吗
  • 如果我理解正确,在两列上创建索引应该可以正常工作。我一直都在使用在暴风雨过程中收集的水质样本进行此操作。
  • 添加了示例数据。 @PaulH:您能否发布一个详细说明您的方法的答案?

标签: python indexing pandas


【解决方案1】:

加入Panel 让这变得有点棘手。我通常坚持使用DataFrames。

但这看起来怎么样:

import pandas as pd
from datetime import datetime
startRec = pd.TimeSeries([datetime(2013, 11, 11, 15, 0, 0),
                          datetime(2013, 11, 12, 15, 0, 0),
                          datetime(2013, 11, 13, 15, 0, 0)])

endRec = pd.TimeSeries([datetime(2013, 11, 11, 15, 0, 10),
                        datetime(2013, 11, 12, 15, 0, 10),
                        datetime(2013, 11, 13, 15, 0, 10)])
_data1m = pd.DataFrame(data={
                          'temp': np.array([21, 19, 15]),
                          'dens': np.array([1001, 1000, 997]),
                          'start': startRec,
                          'end': endRec
                          }
                    )

_data3m = pd.DataFrame(data={
                          'temp': np.array([20, 17, 14]),
                          'dens': np.array([1002, 998, 995]),
                          'start': startRec,
                          'end': endRec
                          }
                    )


_data1m.set_index(['start', 'end'], inplace=True)
_data3m.set_index(['start', 'end'], inplace=True)

data = pd.Panel(data={'1m': _data1m, '3m': _data3m}) 
data.loc['3m'].select(lambda row: row[0] < pd.Timestamp('2013-11-12') or 
                                  row[1] < pd.Timestamp('2013-11-13'))

然后输出:

                                         dens  temp
start               end                            
2013-11-11 15:00:00 2013-11-11 15:00:10  1002    20
2013-11-12 15:00:00 2013-11-12 15:00:10   998    17

【讨论】:

  • 您忘记定义面板data,例如data = pd.Panel(data = {'1m': _data1m, '3m': _data3m})。请使用这行代码更新您的答案。不幸的是,似乎不可能使用基于 MultiIndex 的方法轻松获取给定日期/时间的数据,而是需要使用 .select 和 lambda。可能对我的问题最简单的解决方案,虽然不像我想要的那样理想,但是有例如记录的中间作为索引,并在另一个 DataFrame 中查找开始/结束(具有相同的索引)。
  • @cmeeren 哎呀。对于那个很抱歉。 lambdas 可能有点痛苦,而且代码真的很混乱,IMO。但它们也可以非常强大和方便。
猜你喜欢
  • 1970-01-01
  • 2018-07-12
  • 1970-01-01
  • 2014-10-11
  • 1970-01-01
  • 1970-01-01
  • 2019-12-17
  • 2013-06-14
  • 2023-02-07
相关资源
最近更新 更多