将 .txt 数据分组到数据框中

Question

我有一个 .txt 文件，其中包含如下数据：

[12.06.17, 13:18:36] Name1: Test test test
[12.06.17, 13:20:20] Name2 ❤️: blabla
[12.06.17, 13:20:44] Name2 ❤️: words words words
words
words
words
[12.06.17, 13:29:03] Name1: more words more words
[12.06.17, 13:38:52] Name3 Surname Nickname: ????????
[12.06.17, 13:40:37] Name1: message?

注意，消息前可以有多个名称，也可以出现多行消息。在过去的几天里，我已经尝试了很多方法来将数据分成“日期”、“时间”、“名称”、“消息”组。

我能够弄清楚，正则表达式

(.)(\d+\.\d+\.\d+)(,)(\s)(\d+:\d+:\d+)(.)(\s)([^:]+)(:)

能够捕获直到消息的所有内容（参见：https://regex101.com/r/hQlgeM/3）。但我不知道如何添加消息，以便将多行消息分组到上一条消息中。

最后：如果我能够使用正则表达式从 .txt 中捕获每个组，我实际上如何将每个组传递到单独的列中。过去三天我一直在查看示例，但我仍然无法弄清楚如何最终构建这个数据框。

我尝试使用的代码：

df = pd.read_csv('chat.txt', names = ['raw'])

data = df.iloc[:,0]

re.match(r'\[([^]]+)\] ([^:]+):(.*)', data)

又一次失败的尝试：

input_file = open("chat.txt", "r", encoding='utf-8')

content = input_file.read()

df = pd.DataFrame(content, columns = ['raw'])

df['date'] = df['raw'].str.extract(r'^(.)(\d+\.\d+\.\d+)', expand=True)

df['time'] = df['raw'].str.extract(r'(\s)(\d+:\d+:\d+)', expand=True)

df['name'] = df['raw'].str.extract(r'(\s)([^:]+)(:)', expand=True)

df['message'] = df['raw'].str.extract(r'^(.)(?<=:).*$', expand=True)

df

Answer 1

这是我认为适用于我的情况的解决方案。问题是当它是 txt 数据时我使用的是 read_csv() 。在传入熊猫之前，我还需要使用正则表达式来构建我的格式：

import re
import pandas as pd

chat = open('chat.txt').read()
pattern = r'(?s)\[(?P<date>\d+(?:\.\d+){2}),\s(?P<time>\d+(?::\d+){2})]\s(?P<name>[^:]+):(?P<message>.*?)(?=\[\d+\.\d+\.\d+,\s\d+:\d+:\d+]|\Z)'

for row in re.findall(pattern, chat):
    row

df = pd.DataFrame(re.findall(pattern, chat), columns=['date', 'time', 'name', 'message'])

print (df.tail)

Answer 2

一个完整的解决方案看起来像

import pandas as pd
import io, re

file_path = 'chat.txt'
rx = re.compile(r'\[(?P<date>\d+(?:\.\d+){2}),\s(?P<time>\d+(?::\d+){2})]\s(?P<name>[^:]+):(?P<message>.*)')
col_list = []
date = time = name = message = ''

with io.open(file_path, "r", encoding = "utf-8", newline="\n") as sr:
    for line in sr:
        m = rx.match(line)
        if m:
            col_list.append([date, time, name, message])
            date = m.group("date")
            time = m.group("time")
            name = m.group("name")
            message = m.group("message")
        else:
            if line:
                message += line

df = pd.DataFrame(col_list, columns=['date', 'time', 'name', 'message'])

模式详情

• \[ - 一个 [ 字符
• (?P<date>\d+(?:\.\d+){2}) - 组“日期”：1 个以上数字，然后重复两次 . 和两个数字
• ,\s - , 和一个空格
• (?P<time>\d+(?::\d+){2}) - 组“时间”：1 个以上数字，然后重复两次 : 和两个数字
• ]\s - ] 和一个空格
• (?P<name>[^:]+) - 组“名称”：: 以外的一个或多个字符
• : - 冒号
• (?P<message>.*) - 组“消息”：任何 0+ 个字符，尽可能多，直到行尾。

那么，逻辑如下：

• 读入一行并针对该模式进行测试
• 如果匹配，则初始化四个变量 - 日期、时间、名称和消息 - 详细信息
• 如果下一行与模式不匹配，则将其视为消息的一部分，因此会附加到 message 变量中。