python：导入不带分隔符的纯文本文件

Question

我想将一个从某个数据库中提取的文本文件导入 Python。它是一种纯文本格式，没有行尾分隔符（但我知道应该有固定数量的列）。 每个新行都用一个递增的 id 标识（在下面的示例中，"0001"、"0002"、"0003"）。

我尝试了不同的方法，最终是这个：

with open('url.txt', "rb") as f:
    df = f.read().decode(errors="replace")

但这给了我一个巨大的字符串……然后我尝试了一些正则表达式，用一个循环在 Id 上拆分，然后在 "," 上进行子拆分，问题是有时丢失的数据编码为 \N 没有引号，它永远不会每行返回相同数量的列。数据样本：

"0001","2015-01-01","doc","eab4e80fec7352a7","https://www.paypal.com/us","setRequestHeader(\"Content-Type\")","0002","2015-01-02","doc","0",\N,\N,"0003",etc.

预期的输出应该是带有以下列的 pandas 数据框：id、date、doctype、hash、url、code。 知道我该怎么做吗？

Answer 1

要获取数据框，您可以执行以下操作：

with open('testfloat', "rb") as f:
    df = f.read().decode(errors="replace")
df = df.replace('\\N', '""')  # Replace \N by empty strings
df = df[1:-1]  # remove first and last "
df_list = df.split('","')  # Splitting values

array = [df_list[i:i+6] for i in range(0, len(df_list), 6)]  # Extract the lines

df = pd.DataFrame(array)