【问题标题】:Change timezone of date-time column in pandas and add as hierarchical index更改熊猫中日期时间列的时区并添加为分层索引
【发布时间】:2013-06-14 02:19:24
【问题描述】:

我有带有 UTC 时间戳的数据。我想将此时间戳的时区转换为“美国/太平洋”,并将其作为分层索引添加到 pandas DataFrame。我已经能够将时间戳转换为索引,但是当我尝试将它作为列或索引添加回 DataFrame 时,它​​会丢失时区格式。

>>> import pandas as pd
>>> dat = pd.DataFrame({'label':['a', 'a', 'a', 'b', 'b', 'b'], 'datetime':['2011-07-19 07:00:00', '2011-07-19 08:00:00', '2011-07-19 09:00:00', '2011-07-19 07:00:00', '2011-07-19 08:00:00', '2011-07-19 09:00:00'], 'value':range(6)})
>>> dat.dtypes
#datetime    object
#label       object
#value        int64
#dtype: object

现在,如果我尝试直接转换系列,我会遇到错误。

>>> times = pd.to_datetime(dat['datetime'])
>>> times.tz_localize('UTC')
#Traceback (most recent call last):
#  File "<stdin>", line 1, in <module>
#  File "/Users/erikshilts/workspace/schedule-detection/python/pysched/env/lib/python2.7/site-packages/pandas/core/series.py", line 3170, in tz_localize
#    raise Exception('Cannot tz-localize non-time series')
#Exception: Cannot tz-localize non-time series

如果我将其转换为索引,那么我可以将其作为时间序列进行操作。请注意,索引现在具有太平洋时区。

>>> times_index = pd.Index(times)
>>> times_index_pacific = times_index.tz_localize('UTC').tz_convert('US/Pacific')
>>> times_index_pacific
#<class 'pandas.tseries.index.DatetimeIndex'>
#[2011-07-19 00:00:00, ..., 2011-07-19 02:00:00]
#Length: 6, Freq: None, Timezone: US/Pacific

但是,现在我在将索引添加回数据帧时遇到了问题,因为它失去了时区格式:

>>> dat_index = dat.set_index([dat['label'], times_index_pacific])
>>> dat_index
#                                      datetime label  value
#label                                                      
#a     2011-07-19 07:00:00  2011-07-19 07:00:00     a      0
#      2011-07-19 08:00:00  2011-07-19 08:00:00     a      1
#      2011-07-19 09:00:00  2011-07-19 09:00:00     a      2
#b     2011-07-19 07:00:00  2011-07-19 07:00:00     b      3
#      2011-07-19 08:00:00  2011-07-19 08:00:00     b      4
#      2011-07-19 09:00:00  2011-07-19 09:00:00     b      5

您会注意到索引返回到 UTC 时区,而不是转换后的太平洋时区。

如何更改时区并将其作为索引添加到 DataFrame?

【问题讨论】:

  • 我认为这是一个错误......
  • 是的,这是一种奇怪的行为(时区是邪恶的)。可能值得创建an issue!

标签: python timezone dataframe pandas multi-index


【解决方案1】:

现在这个问题已经解决了。例如,您现在可以调用:

dataframe.tz_localize('UTC', level=0)

但是,对于给定的示例,您必须调用它两次。 (即,每个级别一次。)

【讨论】:

    【解决方案2】:

    另一个适用于 pandas 0.13.1 的解决方法,解决了 FrozenList 无法分配的问题:

    index.levels = pandas.core.base.FrozenList([
        index.levels[0].tz_localize('UTC').tz_convert(tz),
        index.levels[1].tz_localize('UTC').tz_convert(tz)
    ])
    

    MultiIndex 在这个问题上苦苦挣扎,在许多其他情况下也失去了 tz。

    【讨论】:

      【解决方案3】:

      解决方法似乎不起作用,因为分层索引的索引级别似乎是不可变的(FrozenList 是不可变的)。

      从单数索引开始并追加也行不通。

      创建转换为 Timestamp 并转换 to_datetime() 返回的 Series 的每个成员的 lambda 函数也不起作用。

      有没有办法创建时区感知系列,然后将它们插入数据框/使它们成为索引?

      joined_event_df = joined_event_df.set_index(['pandasTime'])
      joined_event_df.index = joined_event_df.index.get_level_values(1).tz_localize('UTC').tz_convert('US/Central')
      # we have tz-awareness above this line
      joined_event_df = joined_event_df.set_index('sequence', append = True)
      # we lose tz-awareness in the index as soon as we add another index
      joined_event_df = joined_event_df.swaplevel(0,1)
      

      【讨论】:

        【解决方案4】:

        如果设置为索引,它会自动转换为索引:

        In [11]: dat.index = pd.to_datetime(dat.pop('datetime'), utc=True)
        
        In [12]: dat
        Out[12]:
                            label  value
        datetime
        2011-07-19 07:00:00     a      0
        2011-07-19 08:00:00     a      1
        2011-07-19 09:00:00     a      2
        2011-07-19 07:00:00     b      3
        2011-07-19 08:00:00     b      4
        2011-07-19 09:00:00     b      5
        

        然后做tz_localize:

        In [12]: dat.index = dat.index.tz_localize('UTC').tz_convert('US/Pacific')
        
        In [13]: dat
        Out[13]:
                                  label  value
        datetime
        2011-07-19 00:00:00-07:00     a      0
        2011-07-19 01:00:00-07:00     a      1
        2011-07-19 02:00:00-07:00     a      2
        2011-07-19 00:00:00-07:00     b      3
        2011-07-19 01:00:00-07:00     b      4
        2011-07-19 02:00:00-07:00     b      5
        

        然后你可以将标签列追加到索引中:

        嗯,这绝对是一个错误!

        In [14]: dat.set_index('label', append=True).swaplevel(0, 1)
        Out[14]:
                                   value
        label datetime
        a     2011-07-19 07:00:00      0
              2011-07-19 08:00:00      1
              2011-07-19 09:00:00      2
        b     2011-07-19 07:00:00      3
              2011-07-19 08:00:00      4
              2011-07-19 09:00:00      5
        

        一个 hacky 解决方法是直接转换 (datetime) 级别(当它已经是 MultiIndex 时):

        In [15]: dat.index.levels[1] = dat.index.get_level_values(1).tz_localize('UTC').tz_convert('US/Pacific')
        
        In [16]: dat1
        Out[16]:
                                         value
        label datetime
        a     2011-07-19 00:00:00-07:00      0
              2011-07-19 01:00:00-07:00      1
              2011-07-19 02:00:00-07:00      2
        b     2011-07-19 00:00:00-07:00      3
              2011-07-19 01:00:00-07:00      4
              2011-07-19 02:00:00-07:00      5
        

        【讨论】:

        • 我遇到了两个问题:1)我不能在 MultiIndex 上调用 tz_localize 或 tz_convert; 2)当我想要太平洋值(即[0, 1, 2, 0, 1, 2])时,从单个索引访问小时字段仍然会给我数组[7,8,9,7,8,9]。
        • 很抱歉,这绝对是一个错误(感谢您找到它)!我添加了一个解决方法(即在它是 MultiIndex 后转换日期时间级别)...
        猜你喜欢
        • 2017-05-22
        • 2022-01-07
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2019-06-27
        • 1970-01-01
        • 2019-02-19
        • 1970-01-01
        相关资源
        最近更新 更多