如何在支持多种数据格式的 Pandas 中合并日期？

Question

我正在编写一个 Pandas 例程库，该库需要能够处理可能属于不同类型的数据框中的日期。具体来说，我得到了 datetime.date 和 pandas._libs.tslib.Timestamp 类型的不同组合。这被报告（并通过我的测试确认）与设置了多索引然后重置的帧有关。 （参见我之前的问题What changes type of date in this pandas code?，它解决了从多索引来回切换时类型被更改的问题。）

这是一个简短（但做作）的示例：

import pandas as pd
df = pd.DataFrame(
   data={
      'date' : ['2019-01-01', '2019-01-02', '2019-01-03'], 
      'value' : [1, 2, 3], 
      'other' : [11, 12, 13]
   }
)

df.date = pd.to_datetime(df.date).dt.date

print df.head()
         date  other  value
0  2019-01-01     11      1
1  2019-01-02     12      2
2  2019-01-03     13      3

df_reindex = df.set_index(['date','other']).reset_index()
         date  other  value
0  2019-01-01     11      1
1  2019-01-02     12      2
2  2019-01-03     13      3

print pd.merge(df, df_reindex, on='date')
Empty DataFrame
Columns: [date, other_x, value_x, other_y, value_y]
Index: []

print pd.merge(df, df, on='date')
         date  other_x  value_x  other_y  value_y
0  2019-01-01       11        1       11        1
1  2019-01-02       12        2       12        2
2  2019-01-03       13        3       13        3

print pd.merge(df_reindex, df_reindex, on='date')
        date  other_x  value_x  other_y  value_y
0 2019-01-01       11        1       11        1
1 2019-01-02       12        2       12        2
2 2019-01-03       13        3       13        3

print type(df.date[0])
<type 'datetime.date'>

print type(df_reindex.date[0])
<class 'pandas._libs.tslib.Timestamp'>

这里df 和df_reindex 具有基本相同的数据内容，但是，由于在Pandas 内部set_index 处的类型已更改，它们之间的合并为空，而“self -merge” 两者中的任何一个与自身之间给出了预期的（尽管在这里人为的情况下是多余的和微不足道的）结果。

实际情况当然是在没有像这样反复设置和重置索引的情况下达到这一点 - 真实数据通过多位代码在不同阶段执行具有不同索引要求的不同操作，并且合并是在帧之间进行有一些不重叠的列。

关于我的另一个关于使用 NumPy 日期时间的问题有评论，但这似乎是徒劳的，因为转换显然会导致两种有问题的数据类型之一，即底层 Pandas 类：

df_numpy = df.copy()

df_numpy.date = df.date.apply(np.datetime64)

print type(df.date[0])
<type 'datetime.date'>

print type(df_numpy.date[0])
<class 'pandas._libs.tslib.Timestamp'>

（更不用说我在现有框架中工作，因此目前可能无法强制所有帧都使用 NumPy 类型而不是 Pandas 类型。）

我需要做的是能够合并库代码中的表，无论它们是否被我控制之外的调用者如此操作。我作为输入获得的数据帧无法更改。我可以复制它们并在副本上实现直接转换（如pandas merge on date column issue），但帧有时很大，除非没有其他选择，否则我不想复制它们。

有没有办法让合并将它们识别为等效？如果没有，是否有避免此处暴露的转换问题的日期格式的最佳实践选择？

Answer 1

有没有办法让合并将它们识别为等效？

不，不是现在的pandas code：

    # datetimelikes must match exactly
    elif is_datetimelike(lk) and not is_datetimelike(rk):
        raise ValueError(msg)
    elif not is_datetimelike(lk) and is_datetimelike(rk):
        raise ValueError(msg)
    elif is_datetime64tz_dtype(lk) and not is_datetime64tz_dtype(rk):
        raise ValueError(msg)
    elif not is_datetime64tz_dtype(lk) and is_datetime64tz_dtype(rk):
        raise ValueError(msg)

如果没有，是否有最佳实践选择日期格式来避免 转换问题暴露在这里？

我从您的问题中了解到，数据框及其数据类型超出了您的控制范围，并且无法更改，因此这个问题将无处可去。

---

您需要的是像 SQL 中的条件连接。此功能有一个旧的开放 issue，自 2014 年以来没有任何活动。（邀请 PR ......）


一个可能的workaround是这样的：

def merge_on_date(left, right, on):
    from pandas.core.dtypes.common import is_datetimelike
    try:
        return pd.merge(left, right, on=on)
    except:
        if is_datetimelike(right[on]):
            return pd.merge(left, right.assign(**{on: eval('right[on].dt.date')}), on=on)
        else:
            return pd.merge(left.assign(**{on: eval('left[on].dt.date')}), right, on=on)

结果：

>>> merge_on_date(df, df_reindex, 'date')
         date  value_x  other_x  other_y  value_y
0  2019-01-01        1       11       11        1
1  2019-01-02        2       12       12        2
2  2019-01-03        3       13       13        3
>>> merge_on_date(df_reindex, df, 'date')
         date  other_x  value_x  value_y  other_y
0  2019-01-01       11        1        1       11
1  2019-01-02       12        2        2       12
2  2019-01-03       13        3        3       13

然而，这个最大的缺点是 assign makes a copy 在引擎盖下。

PS：我刚刚看到 pd.merge(df, df_reindex, on='date') 在您的示例中产生了一个空数据框。从 0.22.0 版开始，这应该会引发 ValueError。你用的是什么版本？