【问题标题】:Merging pandas dataframes based on index and date根据索引和日期合并熊猫数据框
【发布时间】:2018-12-02 03:21:15
【问题描述】:

我想合并/连接/... 2 个数据帧,这样我得到下面的第三个数据帧(这是第一个数据帧的第一个数据帧 + 来自第一个数据帧的每个代码/日期组合的第一个数据帧 + var2):

第一个数据帧:

 dict1 = [{'date': '2016-11-29','var1': 'x1'},
 { 'date': '2016-11-29','var1': 'x2'},
 { 'date': '2016-11-29','var1': 'x3'},
 {'date': '2016-11-29','var1': 'x4'},
 {'date': '2016-11-30','var1': 'x5'},
 {'date': '2016-11-30','var1': 'x6'}]
 df1 = pd.DataFrame(dict1, index=['ge','jpm','fb', 'msft','ge','jpm'])

第二个数据框:

 dict2 = [{'date': '2016-11-29','var2': 'y1'},
 { 'date': '2016-11-29','var2': 'y2'},
 { 'date': '2016-11-29','var2': 'y3'},
 {'date': '2016-11-29','var2': 'y4'},
 {'date': '2016-11-30','var2': 'y5'},
 {'date': '2016-11-30','var2': 'y6'},
 {'date': '2016-11-30','var2': 'y7'},
 {'date': '2016-11-30','var2': 'y8'}]
  df2 = pd.DataFrame(dict2, index=['aapl', 'msft','ge','jpm','aapl', 'msft','ge','jpm'])

第三个(目标)数据帧:

  dict3 = [{'date': '2016-11-29','var1': 'x1','var2': 'y3'},
 { 'date': '2016-11-29','var1': 'x2','var2': 'y4'},
 { 'date': '2016-11-29','var1': 'x3','var2': 'NaN'},
 {'date': '2016-11-29','var1': 'x4','var2': 'y2'},
 {'date': '2016-11-30','var1': 'x5','var2': 'y7'},
 {'date': '2016-11-30','var1': 'x6','var2': 'y8'}]
 df3 = pd.DataFrame(dict3, index=['ge','jpm','fb', 'msft','ge','jpm'])

请注意,数据框未对齐,因此合并应确保索引和日期相同。也就是说,索引和日期是唯一标识符。例如,在第三个数据框中,您可以看到第一行需要从日期“2016-11-29”开始的代码“ge”。另外,如前所述,我只需要 df1 中的数据,除此之外的 df2 中的任何内容都不感兴趣(即,其他日期或代码不相关)。

【问题讨论】:

  • 你试过什么没用?
  • 我实际上什至不知道从哪里开始。我的第一个方法是合并,但据我所知,它使用一个唯一标识符。
  • 我想到的另一种方法是蛮力方法。通过运行一个循环,在第二个数据帧中搜索正确的值,但这听起来不是很pythonic。

标签: python pandas dataframe


【解决方案1】:

您可以重置索引,合并索引列和日期列,并恢复索引:

df1.reset_index().merge(df2.reset_index(), 
                        on=['index', 'date'], how='left')\
                 .set_index('index')
#             date var1 var2
#index                      
#ge     2016-11-29   x1   y3
#jpm    2016-11-29   x2   y4
#fb     2016-11-29   x3  NaN
#msft   2016-11-29   x4   y2
#ge     2016-11-30   x5   y7
#jpm    2016-11-30   x6   y8

【讨论】:

  • 哇,我没有意识到合并可以做到这一点,非常感谢您的帮助。只是为了确保我理解正确,为什么必须重置两个数据帧的索引?你不能合并实际的索引和日期吗?还是 on= 只接受变量?
  • 只能在索引或列上合并,但不能混搭。
  • 啊,我明白了。非常感谢您的解释和上述解决方案。对我来说效果很好!
猜你喜欢
  • 2014-06-10
  • 2018-02-02
  • 2019-03-18
  • 2016-12-08
  • 2021-05-20
  • 2019-03-11
  • 1970-01-01
  • 1970-01-01
  • 2021-03-25
相关资源
最近更新 更多