【问题标题】:Adding two pandas dataframes添加两个熊猫数据框
【发布时间】:2012-06-19 18:11:14
【问题描述】:

我有两个dataframes,都由timeseries 索引。我需要将元素添加在一起以形成一个新的dataframe,但前提是索引和列相同。如果该项目在 dataframes 之一中不存在,则应将其视为零。

我尝试过使用.add,但无论索引和列如何,总和。还尝试了一个简单的combined_data = dataframe1 + dataframe2,但如果两个数据框都没有该元素,则会给出NaN

有什么建议吗?

【问题讨论】:

  • 如果一个项目不存在于一个或两个数据框中,您能否说明您希望发生的情况?您说如果该项目在 one 数据框中不存在,则应将其视为零——您的意思是该数据框中的值应被视为零并添加到另一个数据框中的值,或者您的意思是结果数据框中的值应该为零?另外,您说df1+df2 不起作用,因为如果两者都没有该元素,它会给出 NaN。在这种情况下你想发生什么?你想要结果中的零?

标签: python pandas


【解决方案1】:

x.add(y, fill_value=0)怎么样?

import pandas as pd

df1 = pd.DataFrame([(1,2),(3,4),(5,6)], columns=['a','b'])
Out: 
   a  b
0  1  2
1  3  4
2  5  6

df2 = pd.DataFrame([(100,200),(300,400),(500,600)], columns=['a','b'])
Out: 
     a    b
0  100  200
1  300  400
2  500  600

df_add = df1.add(df2, fill_value=0)
Out: 
     a    b
0  101  202
1  303  404
2  505  606

【讨论】:

  • 完美,正是我所追求的。谢谢
  • 我最近发现如果先创建两个数据框,然后使用 df.set_index('Column_A') 将它们的索引列设置为现有数据框列之一,则此方法不起作用跨度>
  • @user8188120 这可能是因为两者的列号和/或列名不同。两个 dfs 中的列名必须相同,否则,df 列只会连接到现有的 df。
【解决方案2】:

如果我理解正确的话,你想要这样的东西:

(x.reindex_like(y).fillna(0) + y.fillna(0).fillna(0))

这将给出两个数据帧的总和。如果一个值在一个数据帧中而不是另一个数据帧中,则该位置的结果将是该现有值(查看 X 中的 B0 和 Y 中的 B0 并查看最终输出)。如果两个数据帧中都缺少某个值,则该位置的结果将为零(查看 X 中的 B1 和 Y 中的 B1 并查看最终输出)。

>>> x
   A   B   C
0  1   2 NaN
1  3 NaN   4
>>> y
    A   B   C
0   8 NaN  88
1   2 NaN   5
2  10  11  12
>>> (x.reindex_like(y).fillna(0) + y.fillna(0).fillna(0))
    A   B   C
0   9   2  88
1   5   0   9
2  10  11  12

【讨论】:

  • 谢谢,但我没有很好地解释我的数据,因为我在两个 DataFrame 中都有不同的列,例如dataframe1 中的 A、B、C 和 dataframe 2 中的 A、B、D。输出应该是具有 A、B、C、D 的数据帧
【解决方案3】:

为了使答案更笼统...首先我将采用公共索引来同步两个数据帧,然后将它们中的每一个加入我的模式(dates),并将列相加同名,最后加入两个数据框(删除其中一个添加的列),

你可以在这里看到一个例子(谷歌的股票价格取自谷歌):

import numpy as np
import pandas as pd
import datetime as dt

prices = pd.DataFrame([[553.0, 555.5, 549.3, 554.11, 0],
                       [556.8, 556.8, 544.05, 545.92, 545.92],
                       [545.5, 546.89, 540.97, 542.04, 542.04]],
                       index=[dt.datetime(2014,11,04), dt.datetime(2014,11,05), dt.datetime(2014,11,06)],
                       columns=['Open', 'High', 'Low', 'Close', 'Adj Close'])

corrections = pd.DataFrame([[0, 555.22], [1238900, 0]],
                    index=[dt.datetime(2014,11,3), dt.datetime(2014,11,4)],
                    columns=['Volume', 'Adj Close'])

dates = pd.DataFrame(prices.index, columns = ['Dates']).append(pd.DataFrame(corrections.index, columns = ['Dates'])).drop_duplicates('Dates').set_index('Dates').sort(axis=0)
df_corrections = dates.join(corrections).fillna(0)
df_prices = dates.join(prices).fillna(0)

for col in prices.columns:
    if col in corrections.columns:
        df_prices[col]+=df_corrections[col]
        del df_corrections[col]

df_prices = df_prices.join(df_corrections)

【讨论】:

    【解决方案4】:

    以上两个答案 - fillna(0) 和直接加法都会给你 Nan 值,如果它们中的任何一个具有不同的结构。

    最好使用fill_value

    df.add(other_df, fill_value=0)

    【讨论】:

    • 投反对票。无论如何,这是一个旧答案,但这正是该答案三年前给出的公认答案。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-05-17
    • 2015-10-22
    • 2019-01-07
    相关资源
    最近更新 更多