我有以下 Pandas DataFrame，带有 city 和 arr 列：
city arr final_target
paris 11 paris_11
paris 12 paris_12
dallas 22 dallas
miami 15 miami
paris 16 paris_16
我的目标是填写连接 paris 和 arr 编号的 final_target 列，当城市名称为 Paris 时，当名称不是 Paris 时仅填写名称。
最pythonic的方法是什么？
【问题讨论】：
标签： python python-3.x pandas dataframe
最pythonic的方法是什么？
这取决于定义。如果它是更可取、最常见和最快的方式，那么np.where 解决方案就是这里最 Python 的方式。
使用numpy.where，如果需要pandaic，这个解决方案也是矢量化的，所以应该更喜欢apply (loops under the hood)：
df['final_target'] = np.where(df['city'].eq('paris'),
df['city'] + '_' + df['arr'].astype(str),
df['city'])
熊猫替代品：
df['final_target'] = df['city'].mask(df['city'].eq('paris'),
df['city'] + '_' + df['arr'].astype(str))
df['final_target'] = df['city'].where(df['city'].ne('paris'),
df['city'] + '_' + df['arr'].astype(str))
print (df)
city arr final_target
0 paris 11 paris_11
1 paris 12 paris_12
2 dallas 22 dallas
3 miami 15 miami
4 paris 16 paris_16
性能：
#50k rows
df = pd.concat([df] * 10000, ignore_index=True)
In [157]: %%timeit
...: df['final_target'] = np.where(df['city'].eq('paris'),
...: df['city'] + '_' + df['arr'].astype(str),
...: df['city'])
...:
48.6 ms ± 444 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [158]: %%timeit
...: df['city'] + (df['city'] == 'paris')*('_' + df['arr'].astype(str))
...:
...:
49.2 ms ± 1.37 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [159]: %%timeit
...: df['final_target'] = df['city']
...: df.loc[df['city'] == 'paris', 'final_target'] += '_' + df['arr'].astype(str)
...:
63.8 ms ± 764 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [160]: %%timeit
...: df['final_target'] = df.apply(lambda x: x.city + '_' + str(x.arr) if x.city == 'paris' else x.city, axis = 1)
...:
...:
1.33 s ± 119 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
【讨论】：
单行代码可以解决问题：
df['final_target'] = df.apply(lambda x: x.city + '_' + str(x.arr) if x.city == 'paris' else x.city, axis = 1)
【讨论】：
method
apply 消耗大量内存，因为函数是逐行“应用”的。它可能比其他函数慢，但我不认为这使它“不是pythonic”......
用loc试试这个简洁而简短的两行代码：
df['final_target'] = df['city']
df.loc[df['city'] == 'paris', 'final_target'] += '_' + df.loc[df['city'] == 'paris', 'arr'].astype(str)
此解决方案首先将df['city'] 分配为final_target 列，如果city 列是paris，则添加arr 列，并用下划线分隔。
IMO 这可能是这里最 Pythonic 和最简洁的方式。
print(df)
city arr final_target
0 paris 11 paris_11
1 paris 12 paris_12
2 dallas 22 dallas
3 miami 15 miami
4 paris 16 paris_16
【讨论】：
非常不言自明，一行，看起来像pythonic
df['city'] + (df['city'] == 'paris')*('_' + df['arr'].astype(str))
s = """city,arr,final_target
paris,11,paris_11
paris,12,paris_12
dallas,22,dallas
miami,15,miami
paris,16,paris_16"""
import pandas as pd
import io
df = pd.read_csv(io.StringIO(s)).sample(1000000, replace=True)
df
速度
%%timeit
df['city'] + (df['city'] == 'paris')*('_' + df['arr'].astype(str))
# 877 ms ± 19.2 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%%timeit
df['final_target'] = np.where(df['city'].eq('paris'),
df['city'] + '_' + df['arr'].astype(str),
df['city'])
# 874 ms ± 19.2 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
我不知道这个例子为什么会失败（更新：由于采样失败）但是内存错误仍然是个谜Why memory error when using .loc in pandas with sampling instead of direct computing
%%timeit
df['final_target'] = df['city']
df.loc[df['city'] == 'paris', 'final_target'] += '_' + df['arr'].astype(str)
MemoryError: Unable to allocate 892. GiB for an array with shape (119671145392,) and data type int64
【讨论】：