如何在熊猫中保存字典（或具有类似功能的东西）？

Question

所以我有一个包含许多列的大型数据框。假设我感兴趣的两个主要列是消息和名称。每条消息都类似于个人身份，并附有此人的姓名。假设我有一个相当大的情感/感觉词库，但浓缩版可能看起来像 ['sad'、'happy'、'relieved'、'annoyed'、'angry'、'ecstatic'、'proud '， '失望的']。对于每个名称（并且名称可以重复，因为它们可能有多个消息），我想跟踪他们使用的情感词及其伴随的计数。例如（因为我有一个非常大的数据集，所以我做了这个）：

Message                                      Name
I am really happy with my progress.          Alice
I was annoyed by his inconsideration.        John
I felt proud after seeing her performance.   Lisa
I am ecstatic after hearing the good news.   Alice
I felt disappointed by her dishonesty        Lisa

如果我想要一些基本上可以告诉我以下内容的东西（我不一定关心格式，只要它是干净的）： {Alice: happy:1, ecstatic: 1;约翰：生气：1；丽莎：骄傲：1，失望：1}。

最好/最简单的方法是什么？字典是最好的方法吗？其次（这是一个额外的相关问题），在上面计算之后，如果我想为每个名字找到最常用的情感词怎么办。在这个例子中，所有的东西都几乎是 1，但想象一下计数是不一样的。

Answer 1

如果您正在寻找一种非常简单的方式来完成您正在寻找的东西，我建议您将 pandas 的 groupby 功能与 collections utility 结合使用。

初始情况

df = pd.read_csv('messages.csv')
df['Emotion Words'] = df.Message.apply(extract_emotion_words)
print(df)

输出：

                                      Message   Name   Emotion Words
0         I am really happy with my progress.  Alice         [happy]
1      I am really happy with johns progress.  Alice         [happy]
2       I was annoyed by his inconsideration.   John       [annoyed]
3  I felt proud after seeing her performance.   Lisa         [proud]
4  I am ecstatic after hearing the good news.  Alice      [ecstatic]
5       I felt disappointed by her dishonesty   Lisa  [disappointed]

按名称分组并应用计数器

from collections import Counter
df.groupby('Name')['Emotion Words'].sum().apply(Counter)

输出：

Name
Alice        {'happy': 2, 'ecstatic': 1}
John                      {'annoyed': 1}
Lisa     {'disappointed': 1, 'proud': 1}
dtype: object

获取最常用的词

由于您还表示要获取最常见的情感词，您可以使用Counter.most_common(n) 函数，其中n 是要提取的最常见词的数量（在您的情况下为 1）：

df.groupby('Name')['Emotion Words'].sum().apply(
   lambda words: Counter(words).most_common(1)
)

输出：

Name
Alice           [(happy, 2)]
John          [(annoyed, 1)]
Lisa     [(disappointed, 1)]
dtype: object

对于这个小例子，我使用以下函数来提取情感词。当然可能有更好的方法（也许你已经在使用nltk，如果没有，我建议你研究一下）。

import re

emotionWords = set(['sad', 'happy', 'relieved', 'annoyed', 'angry', 'ecstatic', 'proud', 'disappointed'])

def extract_emotion_words(message):
    tokenized = re.split(r'\W+', message.lower())
    return list(set(tokenized) & emotionWords)