构建每行数据不一致的 pandas 数据框

Question

我正在尝试从一些数据构建多个数据帧，这些数据的内容（根据变量，而不是值）可能会在同一数据帧内的每一行中发生变化。

我现在尝试的方法是为每个新行构建一个新的 1 行数据框，然后使用 append 方法将其附加到现有数据框。这负责创建新列并将现有行的值设置为 NaN。

我还按照建议的here 尝试了loc 方法，但这会返回一个ValueError。

除此之外，我还可以拥有一千多个可能的标签。因此，我想避免必须在开头显式声明所有列，并且如果不读取整个文件至少一次，几乎不可能知道特定文件所需的所有列。

但是，我知道，逐行构建数据框被认为是一种不好的（如果不推荐使用的话）做法。

所以，假设我的数据来自一个与此类似的文本文件：

A=10,B=2
A=20,B=3
A=30,C=Batman

我想创建一个看起来像的数据框

    a    b       c
0  10  2.0     NaN
0  20  3.0     NaN
0  30  NaN  Batman

你建议怎么做？

编辑： 数据来自一个非常混乱的固定宽度文本。文本文件的每一行都是一个连续的字符序列（无分隔符）。行内有 3 个字母标识符，标记一个部分的开始，后面跟着该部分的值。我有一个文档，我翻译成一个 python 字典，它告诉我每个标识符在该部分开始之后我需要读取多少个字符以及它们是如何划分的。

例如。一行可能是

AAA1234BBB789aa78CCC123456

然后我会知道AAA 部分跟随 3 个值，一个由 2 位整数组成，两个由一位整数组成。该部分BBB 后跟一个 3 位整数、一个 2 字符字符串和 2 个一位整数。

我有一段代码可以把它翻译成一个看起来像这样的字典

{'AAA_1': 12, 'AAA_2':3, 'AAA_3':4, 'BBB_1':789, 'BBB_2':aa,'BBB_3':7, 'BBB_4':8, ......}

EDIT2：如果你想看看原始文件，你可以看这里（其中任何一个都可以）：

ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2017/

要了解如何阅读，请看这里（不想问你这么多）：

ftp://ftp.ncdc.noaa.gov/pub/data/noaa/ish-format-document.pdf

Answer 1

您可以将每一行作为一个字典，然后将它们组合成一个数据框

dic1 = {'a':10,'b':2}
dic2 = {'a':20,'b':3}
dic3 = {'a':30,'c':'batman'}

pd.DataFrame(data=[dic1,dic2,dic3])

Answer 2

看起来您的数据更适合存储为 JSON。 如果您可以将数据转换为 JSON，如下所示：

data.json的内容：

[
   {"A":10, "B":2},
   {"A":20, "B":3},
   {"A":30, "C":"Batman"}
]

那么你可以简单地做：

>>> df = pd.read_json('data.json')
>>> print(df)
    A    B       C
0  10  2.0     NaN
1  20  3.0     NaN
2  30  NaN  Batman

Answer 3

假设数据以 csv 文件的形式出现。你可以阅读每一个像

>>> print data1
     a       b    c
0   10       2  5.0
1    0     NaN  8.0
2  NaN  batman  9.0
3  cat     NaN  NaN

>>> print data2
   a  b     d
0  0  0   123
1  0  0   fox
2  0  0   883
3  0  0  bats

data1 = pd.read_csv('file1.csv',header=0)
data2 = pd.read_csv('file2.csv'.header=0)

然后：joined = pd.contact([data1,data2], sort=True).reset_index(drop=True)

>>> print joined
     a       b    c     d
0   10       2  5.0   NaN
1    0     NaN  8.0   NaN
2  NaN  batman  9.0   NaN
3  cat     NaN  NaN   NaN
4    0       0  NaN   123
5    0       0  NaN   fox
6    0       0  NaN   883
7    0       0  NaN  bats