1.时间戳Timestamp()
参数可以为各种形式的时间，Timestamp()会将其转换为时间。
time1 = pd.Timestamp(\'2019/7/13\') time2 = pd.Timestamp(\'13/7/2019 13:05\') time3 - pd.Timestamp(\'2019-7-13\') time4 = pd.Timestamp(\'2019 7 13 13:05\') time5 = pd.Timestamp(\'2019 July 13 13\') time6 = pd.Timestamp(datetime.datetime(2019,7,13,13,5)) print(datetime.datetime.now(),type(datetime.datetime.now())) print(time1,type(time1)) print(time2) print(time3) print(time4) print(time5) print(time6) # 2019-07-25 14:33:20.482696 <class \'datetime.datetime\'> # 2019-07-13 00:00:00 <class \'pandas._libs.tslibs.timestamps.Timestamp\'> # 2019-07-13 13:05:00 # 2019-07-13 00:00:00 # 2019-07-13 13:05:00 # 2019-07-13 13:00:00 # 2019-07-13 13:05:00
2.to_datetime()时间戳和时间序列
对于单个时间的转换，与timestamp()的用法相同，将各种形式的时间参数转换为时间。
time1 = pd.to_datetime(\'2019/7/13\') time2 = pd.to_datetime(\'13/7/2019 13:05\') time3 = pd.to_datetime(datetime.datetime(2019,7,13,13,5)) print(datetime.datetime.now(),type(datetime.datetime.now())) print(time1,type(time1)) print(time2) print(time3) # 2019-07-23 22:33:56.650290 <class \'datetime.datetime\'> # 2019-07-13 00:00:00 <class \'pandas._libs.tslibs.timestamps.Timestamp\'> # 2019-07-13 13:05:00 # 2019-07-13 13:05:00
对于多个时间的处理，Timestamp()无法使用，而to_datetime()可以处理成时间序列
timelist = [\'2019/7/13\',\'13/7/2019 13:05\',datetime.datetime(2019,7,13,13,5)] t = pd.to_datetime(timelist) print(t) print(type(t)) # DatetimeIndex([\'2019-07-13 00:00:00\', \'2019-07-13 13:05:00\',\'2019-07-13 13:05:00\'], # dtype=\'datetime64[ns]\', freq=None) # <class \'pandas.core.indexes.datetimes.DatetimeIndex\'>
3.DatetimeIndex时间序列
一个时间序列，可通过索引获取值。
t1 = pd.DatetimeIndex([\'2019/7/13\',\'13/7/2019 13:05\',datetime.datetime(2019,7,13,18,5)]) print(t1,type(t1)) print(t1[1]) # DatetimeIndex([\'2019-07-13 00:00:00\', \'2019-07-13 13:05:00\', # \'2019-07-13 18:05:00\'], # dtype=\'datetime64[ns]\', freq=None) <class \'pandas.core.indexes.datetimes.DatetimeIndex\'> # 2019-07-13 13:05:00
4.TimeSeries
索引为DatetimeIndex的Series
v = [\'a\',\'b\',\'c\'] t = pd.DatetimeIndex([\'2019/7/13\',\'13/7/2019 13:05\',datetime.datetime(2019,7,13,18,5)]) s = pd.Series(v,index = t,name=\'s\') print(s) # 2019-07-13 00:00:00 a # 2019-07-13 13:05:00 b # 2019-07-13 18:05:00 c # Name: s, dtype: object
重置频率asfreq(\'新频率\',method)
表示对原TimeSeris索引重新划分频率，重置索引后如果出现新的索引，method默认为None表示对应的值为NaN，ffill和bfill分别表示用前面、后面的值填充。
t = pd.date_range(\'2019/1/3\',\'2019/1/5\') arr = pd.Series(np.arange(3),index=t) print(arr) print(\'----------------------------\') print(arr.asfreq(\'8H\')) print(\'----------------------------\') print(arr.asfreq(\'8H\',method=\'bfill\')) # 2019-01-03 0 # 2019-01-04 1 # 2019-01-05 2 # Freq: D, dtype: int32 # ---------------------------- # 2019-01-03 00:00:00 0.0 # 2019-01-03 08:00:00 NaN # 2019-01-03 16:00:00 NaN # 2019-01-04 00:00:00 1.0 # 2019-01-04 08:00:00 NaN # 2019-01-04 16:00:00 NaN # 2019-01-05 00:00:00 2.0 # Freq: 8H, dtype: float64 # ---------------------------- # 2019-01-03 00:00:00 0 # 2019-01-03 08:00:00 1 # 2019-01-03 16:00:00 1 # 2019-01-04 00:00:00 1 # 2019-01-04 08:00:00 2 # 2019-01-04 16:00:00 2 # 2019-01-05 00:00:00 2 # Freq: 8H, dtype: int32
移位shift(n,freq,fill_value)
如果只有参数n，表示索引不变而将值进行移动，正数表示向后移动，负数表示向前移动，移动后出现的空值用fill_value填充，默认为NaN。
如果指定了n和freq，表示将索引按照指定的freq进行加法或减法，而值不变。
t = pd.date_range(\'2019/1/3\',\'2019/1/5\') arr = pd.Series([15,16,14],index=t) print(arr) print(\'-----------------------\') print(arr.shift(1,fill_value=\'haha\'))#移动后第一个索引没有对应的值，以haha填充 print(\'-----------------------\') print(arr.shift(-1))#移动后最后一个索引没有对应的值，默认为NaN # 2019-01-03 15 # 2019-01-04 16 # 2019-01-05 14 # Freq: D, dtype: int64 # ----------------------- # 2019-01-03 haha # 2019-01-04 15 # 2019-01-05 16 # Freq: D, dtype: object # ----------------------- # 2019-01-03 16.0 # 2019-01-04 14.0 # 2019-01-05 NaN # Freq: D, dtype: float64
t = pd.date_range(\'2019/1/3\',\'2019/1/5\') arr = pd.Series([15,16,14],index=t) print(arr) print(\'-----------------------\') print(arr.shift(2,freq=\'D\')) print(\'-----------------------\') print(arr.shift(-2,freq=\'H\')) # 2019-01-03 15 # 2019-01-04 16 # 2019-01-05 14 # Freq: D, dtype: int64 # ----------------------- # 2019-01-05 15 # 2019-01-06 16 # 2019-01-07 14 # Freq: D, dtype: int64 # ----------------------- # 2019-01-02 22:00:00 15 # 2019-01-03 22:00:00 16 # 2019-01-04 22:00:00 14 # Freq: D, dtype: int64
5.date_range()和bdate_range()
生成时间范围，类型为DatetimeIndex，date_range()是生成自然日，bdate_range()是生成工作日，下面以date_range()为例。
使用方法：date_range(start,end,periods,freq,closed,normalize,name,tz)
start：时间起始点
end：时间结束点
periods：生成的时间个数
freq：频率，默认为D日历天，其他Y、M、B、H、T/MIN、S、L、U分别表示年、月、工作日、小时、分、秒、毫秒、微妙（不区分大小写）
其他参数：W-MON表示从每周的周几开始，WOM-2MON表示每月的周几开始
closed：默认为None，表示包括起始点和结束点，left表示包括起始点，right表示包括终端
normalize：默认为false，True表示将时刻设置为0:00:00
name：时间范围的名称
tz：时区
t1 = pd.date_range(\'2000/1/5\',\'2003/1/5\',freq=\'y\') t2 = pd.date_range(\'2000/1/1\',\'2000/3/5\',freq=\'m\') t3 = pd.date_range(\'2000/1/1\',\'2000/1/10\',periods=3) t4 = pd.date_range(\'2000/1/1 12\',\'2000/1/1 15\',freq=\'h\') t5 = pd.date_range(\'2000/1/1 12\',\'2000/1/1 15\',freq=\'h\',closed=\'left\',name=\'t3\') t6 = pd.date_range(start = \'2000/1/1 11:00:00\',periods=3) t7 = pd.date_range(end = \'2000/1/1 12:00:00\',periods=3) print(t1) print(t2) print(t3) print(t4) print(t5) print(t6) print(t7) # DatetimeIndex([\'2000-12-31\', \'2001-12-31\', \'2002-12-31\'], dtype=\'datetime64[ns]\', freq=\'A-DEC\') # DatetimeIndex([\'2000-01-31\', \'2000-02-29\'], dtype=\'datetime64[ns]\', freq=\'M\') # DatetimeIndex([\'2000-01-01 00:00:00\', \'2000-01-05 12:00:00\', \'2000-01-10 00:00:00\'], # dtype=\'datetime64[ns]\', freq=None) # DatetimeIndex([\'2000-01-01 12:00:00\', \'2000-01-01 13:00:00\', \'2000-01-01 14:00:00\', \'2000-01-01 15:00:00\'], # dtype=\'datetime64[ns]\', freq=\'H\') # DatetimeIndex([\'2000-01-01 12:00:00\', \'2000-01-01 13:00:00\', \'2000-01-01 14:00:00\'], # dtype=\'datetime64[ns]\', name=\'t3\', freq=\'H\') # DatetimeIndex([\'2000-01-01 11:00:00\', \'2000-01-02 11:00:00\', \'2000-01-03 11:00:00\'], # dtype=\'datetime64[ns]\', freq=\'D\') # DatetimeIndex([\'1999-12-30 12:00:00\', \'1999-12-31 12:00:00\', \'2000-01-01 12:00:00\'], # dtype=\'datetime64[ns]\', freq=\'D\')
6.Period()时期
Period(\'date\',freq = \'*\')：默认的频率freq为传入时间的最小单位，例如传入时间的形式最小月份，那么默认频率为月，如果传入时间的形式最小单位为分钟，那么默认频率为分。
下面例子中的p4，设置频率为2M即2个工作日，那么对于p4来说的1个单位就相当于2M，所以p4+3就是p4+3*2M
p1 = pd.Period(\'2017\') p2 = pd.Period(\'2017\',freq = \'M\') print(p1,type(p1),p1+1) print(p2,p2+1) p3 = pd.Period(\'2017-1-1\') p4 = pd.Period(\'2017-1-1\',freq = \'2M\') print(p3,p3+2) print(p4,p4+3) p5 = pd.Period(\'2017-1-1 13:00\') p6 = pd.Period(\'2017-1-1 13:00\',freq = \'5T\') print(p5,p5+4) print(p6,p6+5) # 2017 <class \'pandas._libs.tslibs.period.Period\'> 2018 # 2017-01 2017-02 # 2017-01-01 2017-01-03 # 2017-01 2017-07 # 2017-01-01 13:00 2017-01-01 13:04 # 2017-01-01 13:00 2017-01-01 13:25
7.period_range()
时期范围，类型为PeriodIndex，用法类似date_range()。
p = pd.period_range(\'2000/1/1\',\'2000/1/2\',freq=\'6H\') print(p,type(p)) # PeriodIndex([\'2000-01-01 00:00\', \'2000-01-01 06:00\', \'2000-01-01 12:00\',\'2000-01-01 18:00\', \'2000-01-02 00:00\'], # dtype=\'period[6H]\', freq=\'6H\') <class \'pandas.core.indexes.period.PeriodIndex\'>
period和period_range()的asfreq，默认显示freq中的最后一个值，如果指定how=\'start\'则显示freq中的第一个值。
p1 = pd.Period( \'2019/5/1\') #2019-05-01 p2 = p1.asfreq(\'H\') #2019-05-01 23:00 p3 = p1.asfreq(\'2H\',how=\'start\') #2019-05-01 00:00，频率设置为2M的2并不起作用 p4 = p1.asfreq(\'S\') #2019-05-01 23:59:59 p5 = p1.asfreq(\'S\',how=\'start\') #2019-05-01 00:00:00
p = pd.period_range(\'2015/3\',\'2015/6\',freq=\'M\') ps1 = pd.Series(np.random.rand(len(p)),index=p.asfreq(\'D\')) ps2 = pd.Series(np.random.rand(len(p)),index=p.asfreq(\'D\',how=\'start\')) print(p) print(ps1) print(\'--------------------------\') print(ps2) # PeriodIndex([\'2015-03\', \'2015-04\', \'2015-05\', \'2015-06\'], dtype=\'period[M]\', freq=\'M\') # 2015-03-31 0.708730 # 2015-04-30 0.238101 # 2015-05-31 0.793451 # 2015-06-30 0.584621 # Freq: D, dtype: float64 # -------------------------- # 2015-03-01 0.397659 # 2015-04-01 0.032417 # 2015-05-01 0.763550 # 2015-06-01 0.129498 # Freq: D, dtype: float64
8.to_timestamp()和to_period()
时间戳和时期的转化.
p1 = pd.date_range(\'2015/3\',\'2015/6\',freq=\'M\') p2 = pd.period_range(\'2015/3\',\'2015/6\',freq=\'M\') ps1 = pd.Series(np.random.rand(len(p1)),index=p1) ps2 = pd.Series(np.random.rand(len(p2)),index=p2) print(ps1) print(\'---------------\') print(ps2) print(\'---------------\') print(ps1.to_period()) print(\'---------------\') print(ps2.to_timestamp()) # 2015-03-31 0.066644 # 2015-04-30 0.159969 # 2015-05-31 0.111716 # Freq: M, dtype: float64 # --------------- # 2015-03 0.966091 # 2015-04 0.779257 # 2015-05 0.953817 # 2015-06 0.765121 # Freq: M, dtype: float64 # --------------- # 2015-03 0.066644 # 2015-04 0.159969 # 2015-05 0.111716 # Freq: M, dtype: float64 # --------------- # 2015-03-01 0.966091 # 2015-04-01 0.779257 # 2015-05-01 0.953817 # 2015-06-01 0.765121 # Freq: MS, dtype: float64
9.时间序列索引
可通过下标和标签进行索引，标签可以为各种形式的时间.
p = pd.Series(np.random.rand(4),pd.period_range(\'2015/3\',\'2015/6\',freq=\'M\')) print(p) print(p[0]) print(p.iloc[1]) print(p.loc[\'2015/5\']) print(p.loc[\'2015-5\']) print(p.loc[\'201505\']) # 2015-03 0.846543 # 2015-04 0.631335 # 2015-05 0.218029 # 2015-06 0.646544 # Freq: M, dtype: float64 # 0.846543180730373 # 0.6313347971612441 # 0.21802886896115137 # 0.21802886896115137 # 0.21802886896115137
p = pd.Series(np.random.rand(5),index=pd.period_range(\'2015/5/30\',\'2015/6/3\')) print(p) print(p[0:2]) #下标索引，末端不包含 print(p.iloc[0:2]) #下标索引，末端不包含 print(p.loc[\'2015/5/30\':\'2015/6/1\']) #标签索引，两端包含 print(p[\'2015/5\']) #只传入月份，会将序列中在此月份中的行全部显示 # 2015-05-30 0.976255 # 2015-05-31 0.671226 # 2015-06-01 0.888682 # 2015-06-02 0.875901 # 2015-06-03 0.953603 # Freq: D, dtype: float64 # 2015-05-30 0.976255 # 2015-05-31 0.671226 # Freq: D, dtype: float64 # 2015-05-30 0.976255 # 2015-05-31 0.671226 # Freq: D, dtype: float64 # 2015-05-30 0.976255 # 2015-05-31 0.671226 # 2015-06-01 0.888682 # Freq: D, dtype: float64 # 2015-05-30 0.976255 # 2015-05-31 0.671226 # Freq: D, dtype: float64
10.唯一unique()
is_unique判断序列的值是否唯一，index.is_unique判断标签是否唯一。
对于时间序列的索引，如果时间序列不重复，取单个时间对应的值的结果为一个数值。
而如果时间序列有重复，取无重复时间的结果仍为序列，如果取有重复的时间的值，默认会将所有符合条件的结果显示出来，可使用groupby进行分组。
p = pd.Series(np.random.rand(5),index=pd.DatetimeIndex([\'2019/5/1\',\'2019/5/2\',\'2019/5/3\',\'2019/5/1\',\'2019/5/2\'])) print(p) print(p.is_unique,p.index.is_unique) print(\'--------------------\') print(p[\'2019/5/3\']) print(\'--------------------\') print(p[\'2019/5/1\']) print(\'--------------------\') print(p[\'2019/5/1\'].groupby(level=0).mean())#对标签为2019/5/1按x轴分组，值取两者的平均值 # 2019-05-01 0.653468 # 2019-05-02 0.116834 # 2019-05-03 0.978432 # 2019-05-01 0.724633 # 2019-05-02 0.250191 # dtype: float64 # True False # -------------------- # 2019-05-03 0.978432 # dtype: float64 # -------------------- # 2019-05-01 0.653468 # 2019-05-01 0.724633 # dtype: float64 # -------------------- # 2019-05-01 0.689051 # dtype: float64
时间重采样
通过resample(\'新频率\')进行重采样，结果是一个对象，需要通过sum()、mean()、max()、min()、median()、first()、last()、ohlc()（经济，开盘、最高、最低、收盘）显示
将时间序列从一个频率转换为另一个频率的过程，会有数据的填充或结合。
降采样：高频数据→低频数据，例如以天为频率的数据转换为以月为频率的数据，会有数据的结合 。
升采样：低频数据→高频数据，例如以年为频率的数据转换为以月为频率的数据，会有数据的填充。
ts = pd.Series(np.arange(1,9),index=pd.date_range(start = \'2019/5/1\',periods=8)) print(ts) print(\'重采样：\',ts.resample(\'3D\'),\' 数据类型\',type(ts.resample(\'3D\'))) print(\'重采样和值：\',type(ts.resample(\'3D\').sum()),\'\n\',ts.resample(\'3D\').sum()) print(\'重采样均值：\n\',ts.resample(\'3D\').mean()) print(\'重采样最大值：\n\',ts.resample(\'3D\').max()) print(\'重采样最小值：\n\',ts.resample(\'3D\').min()) print(\'重采样中值：\n\',ts.resample(\'3D\').median()) print(\'重采样第一个：\n\',ts.resample(\'3D\').first()) print(\'重采样最后一个：\n\',ts.resample(\'3D\').last()) print(\'OHLC重采样：\n\',ts.resample(\'3D\').ohlc()) # 2019-05-01 1 # 2019-05-02 2 # 2019-05-03 3 # 2019-05-04 4 # 2019-05-05 5 # 2019-05-06 6 # 2019-05-07 7 # 2019-05-08 8 # Freq: D, dtype: int32 # 重采样： DatetimeIndexResampler [freq=<3 * Days>, axis=0, closed=left, label=left, convention=start, base=0] 数据类型<class \'pandas.core.resample.DatetimeIndexResampler\'> # 重采样和值： <class \'pandas.core.series.Series\'> # 2019-05-01 6 # 2019-05-04 15 # 2019-05-07 15 # Freq: 3D, dtype: int32 # 重采样均值： # 2019-05-01 2.0 # 2019-05-04 5.0 # 2019-05-07 7.5 # Freq: 3D, dtype: float64 # 重采样最大值： # 2019-05-01 3 # 2019-05-04 6 # 2019-05-07 8 # Freq: 3D, dtype: int32 # 重采样最小值： # 2019-05-01 1 # 2019-05-04 4 # 2019-05-07 7 # Freq: 3D, dtype: int32 # 重采样中值： # 2019-05-01 2.0 # 2019-05-04 5.0 # 2019-05-07 7.5 # Freq: 3D, dtype: float64 # 重采样第一个： # 2019-05-01 1 # 2019-05-04 4 # 2019-05-07 7 # Freq: 3D, dtype: int32 # 重采样最后一个： # 2019-05-01 3 # 2019-05-04 6 # 2019-05-07 8 # Freq: 3D, dtype: int32 # OHLC重采样： # open high low close # 2019-05-01 1 3 1 3 # 2019-05-04 4 6 4 6 # 2019-05-07 7 8 7 8
对于降采样，如果resample()中设置参数closed=\'right\'，则指定间隔右边为结束，默认是采用left间隔左边为结束。【不是很明白】
ts = pd.Series(np.arange(1,9),index=pd.date_range(start = \'2019/5/1\',periods=8)) print(ts.resample(\'3D\').sum()) print(ts.resample(\'3D\',closed=\'right\').sum()) \'\'\'[1,2,3],[4,5,6],[7,8]]\'\'\' \'\'\'[(29,30)1],[2,3,4],[5,6,7],[8]\'\'\' # 2019-05-01 6 # 2019-05-04 15 # 2019-05-07 15 # Freq: 3D, dtype: int32 # 2019-04-28 1 # 2019-05-01 9 # 2019-05-04 18 # 2019-05-07 8 # Freq: 3D, dtype: int32
对于降采样，如果resample()中设置lable=\'right\'，表示显示的标签为下一组里面的第一个标签，默认为当前分组的第一个标签。
ts = pd.Series(np.arange(1,9),index=pd.date_range(start = \'2019/5/1\',periods=8)) print(ts.resample(\'3D\').sum()) #显示的标签为当前分组中的第一个标签 print(ts.resample(\'3D\',label=\'right\').sum()) #显示的标签为下一个分组中的第一个标签 #按照3D重采样，分组[1,2,3] [4,5,6] [7,8,9] # 2019-05-01 6 # 2019-05-04 15 # 2019-05-07 15 # Freq: 3D, dtype: int32 # 2019-05-04 6 # 2019-05-07 15 # 2019-05-10 15 # Freq: 3D, dtype: int32
对于升采样，由于会增加标签，因此会出现空值问题，bfill()使用后面的值填充空值，ffill()使用前面的值填充空值。
ts = pd.Series(np.arange(1,4),index=pd.date_range(start = \'2019/5/1\',periods=3)) print(ts) print(ts.resample(\'12H\')) #对象 print(ts.resample(\'12H\').asfreq()) #使用NaN填充空值 print(ts.resample(\'12H\').bfill()) #使用后面的值填充空值 print(ts.resample(\'12H\').ffill()) #使用前面的值填充空值 # 2019-05-01 1 # 2019-05-02 2 # 2019-05-03 3 # Freq: D, dtype: int32 # DatetimeIndexResampler [freq=<12 * Hours>, axis=0, closed=left, label=left, convention=start, base=0] # 2019-05-01 00:00:00 1.0 # 2019-05-01 12:00:00 NaN # 2019-05-02 00:00:00 2.0 # 2019-05-02 12:00:00 NaN # 2019-05-03 00:00:00 3.0 # Freq: 12H, dtype: float64 # 2019-05-01 00:00:00 1 # 2019-05-01 12:00:00 2 # 2019-05-02 00:00:00 2 # 2019-05-02 12:00:00 3 # 2019-05-03 00:00:00 3 # Freq: 12H, dtype: int32 # 2019-05-01 00:00:00 1 # 2019-05-01 12:00:00 1 # 2019-05-02 00:00:00 2 # 2019-05-02 12:00:00 2 # 2019-05-03 00:00:00 3 # Freq: 12H, dtype: int32