从 DST 感知日期时间对象在 Dataframe 中创建 pandas DatetimeIndex

Question

我从一个在线 API 收集了一系列数据点，每个数据点都有一个值和一个 ISO 时间戳。不幸的是，我需要遍历它们，所以我将它们存储在一个临时的 dict 中，然后从中创建一个 pandas 数据框并将索引设置为时间戳列（简化示例）：

from datetime import datetime
import pandas


input_data = [
    '2019-09-16T06:44:01+02:00',
    '2019-11-11T09:13:01+01:00',
]

data = []
for timestamp in input_data:
    _date = datetime.fromisoformat(timestamp)

    data.append({'time': _date})

pd_data = pandas.DataFrame(data).set_index('time')

只要所有时间戳都在同一个时区 并且 DST/非 DST 一切正常，我得到一个带有 DatetimeIndex 的 Dataframe，我可以稍后再处理。 但是，一旦两个不同的时间偏移出现在一个数据集中（上例），我的数据框中只会得到一个Index，它不支持任何基于时间的方法。

有什么方法可以让 pandas 接受时区感知、不同日期作为索引？

Answer 1

• pandas datetime 列也要求偏移量相同。具有不同偏移量的列将不会转换为 datetime dtype。
• 我建议，在 pandas 中之前不要将数据转换为日期时间。
• 分隔时间偏移，并将其视为timedelta
• to_timedelta 需要'hh:mm:ss' 的格式，所以将':00' 添加到偏移量的末尾
• 请参阅 Pandas: Time deltas 了解所有可用的 timedelta 操作
• pandas.Series.dt.tz_convert
• pandas.Series.tz_localize
• 使用以下命令转换为特定的 TZ：
  • 如果日期时间不是datetime64[ns, UTC] dtype，则在.dt.tz_convert('US/Pacific') 之前先使用.dt.tz_localize('UTC')
  • 否则df.datetime_utc.dt.tz_convert('US/Pacific')

import pandas as pd

# sample data
input_data = ['2019-09-16T06:44:01+02:00', '2019-11-11T09:13:01+01:00']

# dataframe
df = pd.DataFrame(input_data, columns=['datetime'])

# separate the offset from the datetime and convert it to a timedelta
df['offset'] = pd.to_timedelta(df.datetime.str[-6:] + ':00')

# if desired, create a str with the separated datetime
# converting this to a datetime will lead to AmbiguousTimeError because of overlapping datetimes at 2AM, per the OP
df['datetime_str'] = df.datetime.str[:-6]

# convert the datetime column to a datetime format without the offset
df['datetime_utc'] = pd.to_datetime(df.datetime, utc=True)

# display(df)
                    datetime          offset        datetime_str              datetime_utc
0  2019-09-16T06:44:01+02:00 0 days 02:00:00 2019-09-16 06:44:01 2019-09-16 04:44:01+00:00
1  2019-11-11T09:13:01+01:00 0 days 01:00:00 2019-11-11 09:13:01 2019-11-11 08:13:01+00:00

print(df.info())
[out]:
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2 entries, 0 to 1
Data columns (total 4 columns):
 #   Column        Non-Null Count  Dtype              
---  ------        --------------  -----              
 0   datetime      2 non-null      object             
 1   offset        2 non-null      timedelta64[ns]    
 2   datetime_str  2 non-null      object             
 3   datetime_utc  2 non-null      datetime64[ns, UTC]
dtypes: datetime64[ns, UTC](1), object(2), timedelta64[ns](1)
memory usage: 192.0+ bytes

# convert to local timezone
df.datetime_utc.dt.tz_convert('US/Pacific')

[out]:
0   2019-09-15 21:44:01-07:00
1   2019-11-11 00:13:01-08:00
Name: datetime_utc, dtype: datetime64[ns, US/Pacific]

其他资源

• Calculate Pandas DataFrame Time Difference Between Two Columns in Hours and Minutes。
• Talk Python to Me: Episode #271: Unlock the mysteries of time, Python's datetime that is!
• Real Python: Using Python datetime to Work With Dates and Times
• dateutil 模块为标准 datetime 模块提供了强大的扩展。

Answer 2

对问题的措辞稍作更正（我认为这很重要）。您所拥有的是 UTC 偏移量 - DST/no-DST 将需要 更多 信息，即时区。在这里，这很重要，因为您可以轻松地将带有 UTC 偏移量（甚至不同的时间戳）的时间戳解析为 UTC：

import pandas as pd

input_data = [
    '2019-09-16T06:44:01+02:00',
    '2019-11-11T09:13:01+01:00',
]

dti = pd.to_datetime(input_data, utc=True)
# dti
# DatetimeIndex(['2019-09-16 04:44:01+00:00', '2019-11-11 08:13:01+00:00'], dtype='datetime64[ns, UTC]', freq=None)

我一直更喜欢使用 UTC，所以我可以接受。但是，如果您确实需要某个时区的日期时间，则可以转换例如作为

dti = dti.tz_convert('Europe/Berlin')
# dti
# DatetimeIndex(['2019-09-16 06:44:01+02:00', '2019-11-11 09:13:01+01:00'], dtype='datetime64[ns, Europe/Berlin]', freq=None)

Answer 3

我不知道使用时区感知日期时间作为索引并在 pandas 中获取日期时间索引的方法。不过，我确实有一个建议可能会有所帮助，具体取决于您对数据的要求。

将日期时间对象转换为同一时区是否可以接受，或者时区信息是否必须保留？如果您确实需要时区但不一定需要索引，则在循环访问日期时，您可以使用旧时区存储新列，或者在新列中保留时区原始时间的副本，以便仍然可以访问它。