熊猫合并如何保持顺序？

Question

我在 pandas 中有两个 DataFrame，试图合并它们。但是熊猫不断改变顺序。我已经尝试设置索引，重置它们，无论我做什么，我都无法让返回的输出具有相同顺序的行。有诀窍吗？ 请注意，我们从贷款顺序“a,b,c”开始，但在合并之后，它是“a,c,b”。

import pandas
loans = [  'a',  'b', 'c' ]
states = [  'OR',  'CA', 'OR' ]
x = pandas.DataFrame({ 'loan' : loans, 'state' : states })
y = pandas.DataFrame({ 'state' : [ 'CA', 'OR' ], 'value' : [ 1, 2]})
z = x.merge(y, how='left', on='state')

但现在顺序不再是原来的'a,b,c'。有任何想法吗？我使用的是熊猫版本 11。

Answer 1

希望有人能提供更好的答案，但万一没有人这样做，这肯定会奏效，所以……

Zeroth，我假设您不希望只是在 loan 上排序，而是要保留 whatever 原始顺序在 x 中，可能有也可能没有任何东西与loan 列的顺序有关。 （否则，问题就更简单了，也没有那么有趣了。）

首先，您要求它根据连接键进行排序。正如the docs 解释的那样，当您不传递sort 参数时，这是默认设置。

---

其次，如果您不根据连接键进行排序，这些行最终会组合在一起，这样从同一源行合并的两行最终会彼此相邻，这意味着你仍然会得到a、c、b。

您可以通过将行按照它们在原始x 中出现的顺序组合在一起来解决此问题，只需再次与x 合并（在任一侧，这并不重要），或者通过基于重新索引如果您愿意，请在x 上。像这样：

x.merge(x.merge(y, how='left', on='state', sort=False))

---

或者，您可以使用reset_index 在其中填入一个 x-index，然后对其进行排序，如下所示：

x.reset_index().merge(y, how='left', on='state', sort=False).sort('index')

---

显然，无论哪种方式都显得有点浪费和笨拙......所以，正如我所说，希望有一个更好的答案，我只是暂时没有看到。但如果没有，那就行了。

Answer 2

我可能有一个更简单的解决方案：

df_z = df_x.join(df_y.set_index('state'), on = 'state')

希望对你有帮助

Answer 3

我发现合并和恢复顺序的最快方法 - 如果您要合并“左” - 是在合并之前将原始顺序作为列包含在左侧数据框中，然后在合并后使用它来恢复顺序：

import pandas
loans = [  'a',  'b', 'c' ]
states = [  'OR',  'CA', 'OR' ]
x = pandas.DataFrame({ 'loan' : loans, 'state' : states })
y = pandas.DataFrame({ 'state' : [ 'CA', 'OR' ], 'value' : [ 1, 2]})

import numpy as np
x["Order"] = np.arange(len(x))

z = x.merge(y, how='left', on='state').set_index("Order").ix[np.arange(len(x)), :]

这种方法比排序更快。这是一个函数：

def mergeLeftInOrder(x, y, on=None):
    x = x.copy()
    x["Order"] = np.arange(len(x))
    z = x.merge(y, how='left', on=on).set_index("Order").ix[np.arange(len(x)), :]
    return z

Answer 4

Pandas 有一个merge_ordered 函数，因此您的解决方案现在很简单：

z = pd.merge_ordered(x, y, on='state')

Answer 5

使用pd.merge_ordered()，文档here。

以你的为例，

z = pd.merge_ordered(x, y, how='left', on='state')

编辑：只是想指出这个函数的默认行为是外部合并，不同于更常见的.merge()的默认行为