【问题标题】:Pandas how to shift column by datetime into datetime not in index熊猫如何按日期时间将列转换为不在索引中的日期时间
【发布时间】:2021-06-21 20:09:54
【问题描述】:

我想将 pandas 列移动一段时间,并重新索引数据框以适应这种变化。 取以下数据框:

df = pd.DataFrame({"Col1": [10, 20, 15, 30, 45],
                   "Col2": [13, 23, 18, 33, 48],
                   "Col3": [17, 27, 22, 37, 52]},
                  index=pd.date_range("11:00", "13:00", freq="30min"))

我想将Col1 移动 15 分钟,并更新数据框的日期时间索引以允许这些新值。但是,如果我将 Col1 移动 15 分钟,您可以看到因为它与索引不对齐,所以整个列只是设置为 NaN 值:

df["Col1"] = df["Col1"].shift(15, freq="T")
print(df)


                      Col1  Col2  Col3
2021-03-25 11:00:00   NaN    13    17
2021-03-25 11:30:00   NaN    23    27
2021-03-25 12:00:00   NaN    18    22
2021-03-25 12:30:00   NaN    33    37
2021-03-25 13:00:00   NaN    48    52

我希望数据框看起来像这样:

                     Col1  Col2  Col3
2021-03-25 11:00:00   NaN  13.0  17.0
2021-03-25 11:15:00  10.0   NaN   NaN
2021-03-25 11:30:00   NaN  23.0  27.0
2021-03-25 11:45:00  20.0   NaN   NaN
2021-03-25 12:00:00   NaN  18.0  22.0
2021-03-25 12:15:00  15.0   NaN   NaN
2021-03-25 12:30:00   NaN  33.0  37.0
2021-03-25 12:45:00  30.0   NaN   NaN
2021-03-25 13:00:00   NaN  48.0  52.0
2021-03-25 13:15:00  45.0   NaN   NaN

(我使用以下代码创建的:)

df = pd.DataFrame({"Col1": [float('nan'), 10, float('nan'), 20, float('nan'), 15, float('nan'), 30, float('nan'), 45],
                   "Col2": [13, float('nan'),  23, float('nan'), 18, float('nan'), 33, float('nan'), 48, float('nan')],
                   "Col3": [17, float('nan'), 27, float('nan'), 22, float('nan'), 37, float('nan'), 52, float('nan')]},
                  index=pd.date_range("11:00", "13:15", freq="15min"))

如果有任何建议,将不胜感激!

【问题讨论】:

    标签: python pandas dataframe datetime


    【解决方案1】:

    用 concat 检查

    out = pd.concat([df.pop("Col1").shift(15, freq="T"),df],axis=1)
    Out[478]: 
                         Col1  Col2  Col3
    2021-03-24 11:00:00   NaN  13.0  17.0
    2021-03-24 11:15:00  10.0   NaN   NaN
    2021-03-24 11:30:00   NaN  23.0  27.0
    2021-03-24 11:45:00  20.0   NaN   NaN
    2021-03-24 12:00:00   NaN  18.0  22.0
    2021-03-24 12:15:00  15.0   NaN   NaN
    2021-03-24 12:30:00   NaN  33.0  37.0
    2021-03-24 12:45:00  30.0   NaN   NaN
    2021-03-24 13:00:00   NaN  48.0  52.0
    2021-03-24 13:15:00  45.0   NaN   NaN
    

    【讨论】:

    • 感谢这个工作,但它很慢。如果我有数百个列,我要对一个非常大的数据框执行此操作,我最好为数据框创建一个非常密集的索引并使用 shift 而不使用 concat?
    • @Recessive 你不能将新索引分配给令人兴奋的索引~我们可以在这里加入或连接
    【解决方案2】:

    另一种选择是使用resample:

    df = df.resample("15T").first()
    
                         Col1  Col2  Col3
    2021-03-24 11:00:00  10.0  13.0  17.0
    2021-03-24 11:15:00   NaN   NaN   NaN
    2021-03-24 11:30:00  20.0  23.0  27.0
    2021-03-24 11:45:00   NaN   NaN   NaN
    2021-03-24 12:00:00  15.0  18.0  22.0
    2021-03-24 12:15:00   NaN   NaN   NaN
    2021-03-24 12:30:00  30.0  33.0  37.0
    2021-03-24 12:45:00   NaN   NaN   NaN
    2021-03-24 13:00:00  45.0  48.0  52.0
    

    然后,您可以简单地shift Col1:

    df.Col1 = df.Col1.shift(1)
    
                         Col1  Col2  Col3
    2021-03-24 11:00:00   NaN  13.0  17.0
    2021-03-24 11:15:00  10.0   NaN   NaN
    2021-03-24 11:30:00   NaN  23.0  27.0
    2021-03-24 11:45:00  20.0   NaN   NaN
    2021-03-24 12:00:00   NaN  18.0  22.0
    2021-03-24 12:15:00  15.0   NaN   NaN
    2021-03-24 12:30:00   NaN  33.0  37.0
    2021-03-24 12:45:00  30.0   NaN   NaN
    2021-03-24 13:00:00   NaN  48.0  52.0
    

    编辑: 这似乎与@Recessive 的回答在速度上相当:

    def resampling(df):
        df = df.resample("15T").first()
        df.Col1 = df.Col1.shift(1)
    
    def reindexing(df):
        dt_index2 = pd.date_range(df.index[0], df.index[-1], freq="15min")
        df = df.reindex(dt_index2)
        df["Col1"] = df["Col1"].shift(15, freq="T")
    
    %timeit resampling(df)
    1.37 ms ± 10.1 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
    
    %timeit reindexing(df)
    1.11 ms ± 31.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
    

    【讨论】:

      【解决方案3】:

      BENY 的答案有效,但我发现我的数据框非常大,速度很慢。因此,我做了以下事情,它对我有用,而且速度更快:

      dt_index2 = pd.date_range(df.index[0], df.index[-1], freq="15min")
      df = df.reindex(dt_index2)
      df["Col1"] = df["Col1"].shift(15, freq="T")
      print(df)
      
                           Col1  Col2  Col3
      2021-03-25 11:00:00   NaN  13.0  17.0
      2021-03-25 11:15:00  10.0   NaN   NaN
      2021-03-25 11:30:00   NaN  23.0  27.0
      2021-03-25 11:45:00  20.0   NaN   NaN
      2021-03-25 12:00:00   NaN  18.0  22.0
      2021-03-25 12:15:00  15.0   NaN   NaN
      2021-03-25 12:30:00   NaN  33.0  37.0
      2021-03-25 12:45:00  30.0   NaN   NaN
      2021-03-25 13:00:00   NaN  48.0  52.0
      

      编辑:

      我想做这个任务的原因是因为每一列都需要被它的索引偏移(所以 Col1 偏移 1 秒,Col2 偏移 2 秒等),然后全部加入一列。为此,BENY 的答案与我的结合使用会更好,因为它将内存使用量降至最低。在这种情况下,您应该执行以下操作:

      dt_index2 = pd.date_range(df.index[0], df.index[-1], freq="S")
      df2 = pd.DataFrame(columns=["concentration"], index=dt_index2)
      df2["concentration"] = df2["concentration"].add(df.pop("Col1").shift(1, freq="S"), fill_value=0)
      df2["concentration"] = df2["concentration"].add(df.pop("Col2").shift(2, freq="S"), fill_value=0)
      df2["concentration"] = df2["concentration"].add(df.pop("Col3").shift(3, freq="S"), fill_value=0)
      

      使用此方法可确保您只有一个具有密集索引的列,就像您重新索引其他数据帧一样,您最终会得到 3 列。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2019-01-15
        • 2018-07-04
        • 1970-01-01
        • 1970-01-01
        • 2018-12-08
        • 2016-06-03
        相关资源
        最近更新 更多