如何从导入的 csv 文件中索引日期时间列 - pandas

Question

我正在尝试合并和附加不同的时间序列，从 csv 文件中导入它们。我尝试了以下基本代码：

import pandas as pd
import numpy as np
import glob
import csv
import os

path = r'./A08_csv'     # use your path
#all_files = glob.glob(os.path.join(path, "A08_B1_T5.csv"))

df5 = pd.read_csv('./A08_csv/A08_B1_T5.csv', parse_dates={'Date Time'})
df6 = pd.read_csv('./A08_csv/A08_B1_T6.csv', parse_dates={'Date Time'})

print len(df5)
print len(df6)

df = pd.concat([df5],[df6], join='outer')
print len(df)

结果是：

12755 (df5)
24770 (df6)
12755 (df)

df 不应该与两个文件中最长的文件一样长（就 ['Date Time'] 列的值而言，它们有很多共同的行）？？

我尝试根据日期时间索引数据，添加以下行：

#df5.set_index(pd.DatetimeIndex(df5['Date Time']))

但是我收到了错误：

KeyError: 'Date Time'

关于为什么会发生这种情况的任何线索？

Answer 1

我认为你需要：

df5.set_index(['Date Time'], inplace=True)

或者更好的在read_csv添加参数index_col:

import pandas as pd
import io

temp=u"""Date Time,a
2010-01-27 16:00:00,2.0
2010-01-27 16:10:00,2.2
2010-01-27 16:30:00,1.7"""

df = pd.read_csv(io.StringIO(temp), index_col=['Date Time'], parse_dates=['Date Time'])
print (df)
                       a
Date Time               
2010-01-27 16:00:00  2.0
2010-01-27 16:10:00  2.2
2010-01-27 16:30:00  1.7

print (df.index)
DatetimeIndex(['2010-01-27 16:00:00', '2010-01-27 16:10:00',
               '2010-01-27 16:30:00'],
              dtype='datetime64[ns]', name='Date Time', freq=None)

另一种解决方案是按顺序将列添加到参数列 - 如果列Date Time 是第一个，则将0 添加到index_col 和parse_dates（python 计数来自0）：

import pandas as pd
import io


temp=u"""Date Time,a
2010-01-27 16:00:00,2.0
2010-01-27 16:10:00,2.2
2010-01-27 16:30:00,1.7"""

df = pd.read_csv(io.StringIO(temp), index_col=0, parse_dates=[0])
print (df)
                       a
Date Time               
2010-01-27 16:00:00  2.0
2010-01-27 16:10:00  2.2
2010-01-27 16:30:00  1.7

print (df.index)
DatetimeIndex(['2010-01-27 16:00:00', '2010-01-27 16:10:00',
               '2010-01-27 16:30:00'],
              dtype='datetime64[ns]', name='Date Time', freq=None)

Answer 2

这是不正确的：

pd.concat([df5],[df6], join='outer')

concat 的第二个参数是axis。相反，你想要：

pd.concat([df5, df6], join='outer')