迭代熊猫中唯一值的更快方法？答案

【问题标题】：Quicker way to iterate over unique values in pandas?迭代熊猫中唯一值的更快方法？
【发布时间】：2020-09-23 08:34:33
【问题描述】：

我有一些 pandas 代码正在尝试在一个大数据集上运行，尽管使用了 apply，但它看起来本质上是在迭代并且运行缓慢......欢迎提出建议！

我正在尝试对我的数据进行分组。每行都有一个非唯一的事件 ID，每个事件 ID 可以包含多个事件。如果这些事件中的任何一个是特定类型，我希望具有该 ID 的每一行都有一个特定的标志 - 例如，这种类型的事件发生在这个 ID 中。然后我想导出我的数据框，只包含 ID，该标志显示事件是否在该 ID 中发生。

这是我正在使用的代码：

no_duplicates = df.drop_duplicates(subset=["ID])

def add_to_clean(URN):
    single_df = df[df["URN"] == URN].copy()
    return single_df["Event_type"].sum() > 0

no_duplicates["Event_type"] = no_duplicates["ID"].swifter.apply(add_to_clean)

虽然我尝试使用应用而不是循环，但它似乎仍在迭代整个代码并且需要很长时间。关于如何提高效率的任何想法？

【问题讨论】：

你可以创建一些示例数据，minimal, complete, and verifiable example 吗？

标签： python pandas swifter

【解决方案1】：

如果需要由聚合值填充的新列，请使用 GroupBy.transform 而不是 apply + join，但 transform 仅使用一列 Event_type：

no_duplicates["Event_type"] = no_duplicates.groupby("URN").Event_type.transform('sum') > 0

【讨论】：

哦，这很明智。该代码不能在一行中完全工作，但是先进行 groupby 然后合并可能会很好。应测试。