python pandas parse_dates 列通配符用于pandas 0.14.1 中的sqlalchemy？答案

【问题标题】：python pandas parse_dates column wildcard for sqlalchemy in pandas 0.14.1?python pandas parse_dates 列通配符用于pandas 0.14.1 中的sqlalchemy？
【发布时间】：2014-09-19 18:25:41
【问题描述】：

我正在使用sqlalchemy，它允许对最近发布的 0.14.1 版本的 pandas 进行 sql 查询。

import pandas as pd
from dateutil import parser
from sqlalchemy import create_engine
import datetime

a=[['Datetime', 'Now Date', 'numbers', 'mixed'], ['1/2/2014', datetime.datetime.now(),6, 'z1'], ['1/3/2014', datetime.datetime.now(), 3, 'z1']]
df = pd.DataFrame(a[1:],columns=a[0])
df['Datetime']=df['Datetime'].map(lambda x: parser.parse(x))

engine=create_engine('sqlite:///:memory:')
df.to_sql('db_table',engine, index=False)
df_new=pd.read_sql_query("SELECT * FROM db_table ",engine)

>>> df.dtypes
Datetime    datetime64[ns]
Now Date    datetime64[ns]
numbers              int64
mixed               object
dtype: object

>>> df_new.dtypes
Datetime    object
Now Date    object
numbers      int64
mixed       object
dtype: object

如您所见，我原来的datetime 格式在输入引擎时丢失了。但是 pandas 提供了一种通过解析来取回它的方法。

df_new=pd.read_sql_query("SELECT * FROM db_table ",engine, parse_dates=['Datetime','Now Date'])

>>> df_new.dtypes
Datetime    datetime64[ns]
Now Date    datetime64[ns]
numbers              int64
mixed               object
dtype: object

问题是我将不同类型的datetimes 输入到具有不同列名的引擎中，我无法手动指定每个列名。我有太多东西要解析，而且它在不断变化。我正在寻找一个相当于这样的解决方案：

df_new=pd.read_sql_query("SELECT * FROM db_table ",engine, parse_dates=['*Date*'])

【问题讨论】：

标签： python pandas dataframe

【解决方案1】：

SQLite 没有日期或日期时间类型。因此，日期时间值存储为字符串，在获取查询时它们也以字符串形式返回。
但是这里有一些不同的选项可以解决这个问题：

使用read_sql_table 而不是read_sql_query（如果您只需要执行“SELECT * FROM ...”或某些列，并且不需要where 子句）。这将使用表模式中的信息并检测它是日期时间列并转换它们（sqlalchemy 这样做）：
```
In [13]: df_new2 = pd.read_sql_table("db_table",engine)

In [15]: df_new2.dtypes
Out[15]: 
Datetime    datetime64[ns]
Now Date    datetime64[ns]
numbers              int64
mixed               object
dtype: object
```

您可以在使用 sqlite 连接时指定sqlite3.PARSE_DECLTYPES（参见docs 或这个问题：How to read datetime back from sqlite as a datetime instead of string in Python?）：

In [33]: con = sqlite3.connect(':memory:', detect_types=sqlite3.PARSE_DECLTYPES) 
In [34]: df.to_sql('db_table', con, index=False)

In [35]: df_new = pd.read_sql_query("SELECT * FROM db_table",con)

In [36]: df_new.dtypes 
Out[36]: 
Datetime    datetime64[ns]
Now Date    datetime64[ns]
numbers              int64
mixed               object
dtype: object

这似乎不适用于 sqlalchemy (http://docs.sqlalchemy.org/en/rel_0_9/dialects/sqlite.html#compatibility-with-sqlite3-native-date-and-datetime-types)

您可以在之后进行解析，自动对所有包含“日期”的列执行此操作：

In [45]: date_cols = [col for col in df.columns if 'Date' in col]

In [47]: for col in date_cols:
   ....:     df[col] = pd.to_datetime(df[col])
   ....:

【讨论】：