python创建具有可变行元素的二维数组/数据框答案

【问题标题】：python creating a 2d array/dataframe with variable row elementspython创建具有可变行元素的二维数组/数据框
【发布时间】：2017-03-25 08:47:22
【问题描述】：

我有几天的时间序列，每天都有可变数量的数据点。生成示例数据帧 bwlow：

n=10,20
init=datetime.datetime(2016, 7, 24, 0, 0)
df=pd.DataFrame()
for i in np.arange(n[0],n[1]):
    s =init+datetime.timedelta(days=i-10)
    df = pd.concat([df,pd.DataFrame(np.random.rand(i) ,index= pd.date_range(s, periods=i, freq='T') )])

给定一个像上面这样的数据框，我要创建另一个数据框/ndarray，它的 index= 日期从 df 开始（不适用于 ndarray）。并且 values(rows) = 前 2 天的连接数据（由于使用它所有行的长度不同，我们可以使用 "NA" 使它们相等）

我试过这样做：

g = df.groupby(pd.TimeGrouper('D'))
d = {k: v for k, v in g}
k=d.keys()
k.sort()
X=pd.DataFrame(index=k)
for i in np.arange(1,len(k)):
    X.ix[i]=pd.concat([d[k[i]],d[k[i-1]]]).ix[:,0]

但这不起作用。

【问题讨论】：

嗨@dayum你能解释一下连接部分和一天数据的结构
嗨，第一部分只是作为参考来显示我的数据框的样子。它不涉及问题。

标签： python multidimensional-array dataframe time-series vectorization

【解决方案1】：

不容易，循环是必要的：

import datetime as datetime
n= 1,5
np.random.seed(1)
init=datetime.datetime(2016, 7, 24, 0, 0)
df=pd.DataFrame()
for i in np.arange(n[0],n[1]):
    s = init+datetime.timedelta(days=int(i)-10)
    df = pd.concat([df,pd.DataFrame({"col": np.random.rand(i)}, 
                                     index= pd.date_range(s, periods=i, freq='T'))])
print (df)    
                          col
2016-07-15 00:00:00  0.417022
2016-07-16 00:00:00  0.720324
2016-07-16 00:01:00  0.000114
2016-07-17 00:00:00  0.302333
2016-07-17 00:01:00  0.146756
2016-07-17 00:02:00  0.092339
2016-07-18 00:00:00  0.186260
2016-07-18 00:01:00  0.345561
2016-07-18 00:02:00  0.396767
2016-07-18 00:03:00  0.538817

通过numpy.unique创建所有独特的日子：

u = np.unique(np.array(df.index.values.astype('<M8[D]')))
print (u)
['2016-07-15' '2016-07-16' '2016-07-17' '2016-07-18']

然后通过循环创建所有值到dict d by datetimeindex partial string indexing:

d = {}
for i in u:
    dat = str(i)
    dat1 = str((i - pd.Timedelta('1D')))
    d[i] = pd.Series(df.loc[dat1:dat, 'col'].values)

print (d)
{numpy.datetime64('2016-07-18'): 0    0.302333
1    0.146756
2    0.092339
3    0.186260
4    0.345561
5    0.396767
6    0.538817
dtype: float64, numpy.datetime64('2016-07-15'): 0    0.417022
dtype: float64, numpy.datetime64('2016-07-16'): 0    0.417022
1    0.720324
2    0.000114
dtype: float64, numpy.datetime64('2016-07-17'): 0    0.720324
1    0.000114
2    0.302333
3    0.146756
4    0.092339
dtype: float64}

最后创建DataFrame.from_dict:

print (pd.DataFrame.from_dict(d, orient='index'))
                   0         1         2         3         4         5  \
2016-07-15  0.417022       NaN       NaN       NaN       NaN       NaN   
2016-07-16  0.417022  0.720324  0.000114       NaN       NaN       NaN   
2016-07-17  0.720324  0.000114  0.302333  0.146756  0.092339       NaN   
2016-07-18  0.302333  0.146756  0.092339  0.186260  0.345561  0.396767   

                   6  
2016-07-15       NaN  
2016-07-16       NaN  
2016-07-17       NaN  
2016-07-18  0.538817

【讨论】：

谢谢，第一步稍作修改。