将 Python dict 转换为数据框答案

【问题标题】：Convert Python dict into a dataframe将 Python dict 转换为数据框
【发布时间】：2013-09-21 03:34:04
【问题描述】：

我有一个 Python 字典，如下所示：

{u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}

键是Unicode 日期，值是整数。我想通过将日期及其对应的值作为两个单独的列来将其转换为熊猫数据框。示例： col1: Dates col2: DateValue（日期仍然是 Unicode，日期值仍然是整数）

     Date         DateValue
0    2012-07-01    391
1    2012-07-02    392
2    2012-07-03    392
.    2012-07-04    392
.    ...           ...
.    ...           ...

我们将不胜感激这方面的任何帮助。我无法在 pandas 文档上找到资源来帮助我解决这个问题。

我知道一种解决方案可能是将这个字典中的每个键值对转换为一个字典，这样整个结构就变成一个字典的字典，然后我们可以将每一行单独添加到数据帧中。但我想知道是否有更简单、更直接的方法来做到这一点。

到目前为止，我已经尝试将 dict 转换为系列对象，但这似乎并不能保持列之间的关系：

s  = Series(my_dict,index=my_dict.keys())

【问题讨论】：

我尝试将 dict 转换为以日期为索引的系列对象，但由于某种原因，日期与相应的值不匹配。
代码已发布。我想询问是否有一种方法可以创建数据框，而无需创建 dict-of-dicts 然后分别添加每一行。
什么是“Unicode 日期”？你的意思是ISO 8601 日期吗？

标签： python pandas dataframe

【解决方案1】：

将字典的项目传递给 DataFrame 构造函数，并给出列名。之后解析Date 列以获取Timestamp 值。

注意python 2.x和3.x的区别：

在 python 2.x 中：

df = pd.DataFrame(data.items(), columns=['Date', 'DateValue'])
df['Date'] = pd.to_datetime(df['Date'])

在 Python 3.x 中：（需要额外的“列表”）

df = pd.DataFrame(list(data.items()), columns=['Date', 'DateValue'])
df['Date'] = pd.to_datetime(df['Date'])

【讨论】：

这给了我：PandasError: DataFrame constructor not properly called!
@ChrisNielsen 您可能正在使用 python3。你应该试试：df = pd.DataFrame(list(data.items()), columns=['Date', 'DateValue'])
这是更好的答案，因为它显示了在 Python 3 中必须完成的工作。

【解决方案2】：

这里的错误是因为使用标量值调用 DataFrame 构造函数（它期望值是一个列表/字典/...，即有多个列）：

pd.DataFrame(d)
ValueError: If using all scalar values, you must must pass an index

您可以从字典中获取项目（即键值对）：

In [11]: pd.DataFrame(d.items())  # or list(d.items()) in python 3
Out[11]:
             0    1
0   2012-07-02  392
1   2012-07-06  392
2   2012-06-29  391
3   2012-06-28  391
...

In [12]: pd.DataFrame(d.items(), columns=['Date', 'DateValue'])
Out[12]:
          Date  DateValue
0   2012-07-02        392
1   2012-07-06        392
2   2012-06-29        391

但我认为传递 Series 构造函数更有意义：

In [21]: s = pd.Series(d, name='DateValue')
Out[21]:
2012-06-08    388
2012-06-09    388
2012-06-10    388

In [22]: s.index.name = 'Date'

In [23]: s.reset_index()
Out[23]:
          Date  DateValue
0   2012-06-08        388
1   2012-06-09        388
2   2012-06-10        388

【讨论】：

@user1009091 我现在意识到错误的含义，它基本上是在说“我看到的是一个系列，所以使用系列构造函数”。
谢谢 - 非常有帮助。您能否解释一下使用这种方法和使用 DataFrame.from_dict() 有什么区别？您的方法（我使用的）返回 type = pandas.core.frame.DataFrame，而另一个返回 type = class 'pandas.core.frame.DataFrame'。您是否有机会解释差异以及每种方法何时合适？在此先感谢:)
我从第一个示例中看到 pandas.core.common.PandasError: DataFrame constructor not properly called!
@allthesignals 在 d.items 周围添加 list() 有效：pd.DataFrame(list(d.items()), columns=['Date', 'DateValue'])
@AndyHayden 你为什么提倡系列而不是项目解决方案？是因为 OP 有大量条目吗？第一个选项对我有用，所以谢谢。

【解决方案3】：

接受一个字典作为参数并返回一个数据帧，其中字典的键作为索引，值作为列。

def dict_to_df(d):
    df=pd.DataFrame(d.items())
    df.set_index(0, inplace=True)
    return df

【讨论】：

取一个dict，返回一个数据框

【解决方案4】：

正如在另一个答案中所解释的那样，直接在这里使用pandas.DataFrame() 不会像你想象的那样行事。

您可以将pandas.DataFrame.from_dict 与orient='index'一起使用：

In[7]: pandas.DataFrame.from_dict({u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 .....
 u'2012-07-05': 392,
 u'2012-07-06': 392}, orient='index', columns=['foo'])
Out[7]: 
            foo
2012-06-08  388
2012-06-09  388
2012-06-10  388
2012-06-11  389
2012-06-12  389
........
2012-07-05  392
2012-07-06  392

【讨论】：

我们可以将它与任何rename 方法链接起来，以便同时设置索引和列的名称吗？
好点。一个例子是：....., orient='index').rename(columns={0:'foobar'})
你也可以指定pandas.DataFrame.from_dict(..., orient = 'index', columns = ['foo', 'bar'])，这个来自source listed above。
好点，这在 pandas .22 中是正确的，它在原始答案之后......更新了我的答案......

【解决方案5】：

pd.DataFrame({'date' : dict_dates.keys() , 'date_value' : dict_dates.values() })

【讨论】：

【解决方案6】：

您也可以只将字典的键和值传递给新的数据框，如下所示：

import pandas as pd

myDict = {<the_dict_from_your_example>]
df = pd.DataFrame()
df['Date'] = myDict.keys()
df['DateValue'] = myDict.values()

【讨论】：

【解决方案7】：

我已经多次遇到这个问题，并且有一个从函数 get_max_Path() 创建的示例字典，它返回示例字典：

{2: 0.3097502930247044, 3: 0.4413177909384636, 4: 0.5197224051562838, 5: 0.5717654946470984, 6: 0.6063959031223476, 7: 0.6365209824708223, 8: 0.655918861281035, 9: 0.680844386645206}

要将其转换为数据框，我运行了以下命令：

df = pd.DataFrame.from_dict(get_max_path(2), orient = 'index').reset_index()

返回一个带有单独索引的简单两列数据框：

index 0 0 2 0.309750 1 3 0.441318

只需使用f.rename(columns={'index': 'Column1', 0: 'Column2'}, inplace=True)重命名列

【讨论】：

【解决方案8】：

在我的例子中，我希望 dict 的键和值是 DataFrame 的列和值。所以唯一对我有用的是：

data = {'adjust_power': 'y', 'af_policy_r_submix_prio_adjust': '[null]', 'af_rf_info': '[null]', 'bat_ac': '3500', 'bat_capacity': '75'} 

columns = list(data.keys())
values = list(data.values())
arr_len = len(values)

pd.DataFrame(np.array(values, dtype=object).reshape(1, arr_len), columns=columns)

【讨论】：

【解决方案9】：

在将字典转换为 Pandas 数据框时，您希望键成为所述数据框的列，值成为行值，您可以简单地在字典周围放置括号，如下所示：

>>> dict_ = {'key 1': 'value 1', 'key 2': 'value 2', 'key 3': 'value 3'}
>>> pd.DataFrame([dict_])

    key 1     key 2     key 3
0   value 1   value 2   value 3

这让我有些头疼，所以我希望它对那里的人有所帮助！

编辑：在the pandas docs 中，DataFrame 构造函数中data 参数的一个选项是字典列表。在这里，我们传递了一个包含一本字典的列表。

【讨论】：

是的，我也这样做了，但添加了 .T 来转置。
它工作正常，但不知道为什么我们必须这样做。
如果我希望这些列中的一个用作索引

【解决方案10】：

Pandas 有 built-in function 用于将 dict 转换为数据框。

pd.DataFrame.from_dict(dictionaryObject,orient='index')

对于您的数据，您可以按如下方式进行转换：

import pandas as pd
your_dict={u'2012-06-08': 388,
 u'2012-06-09': 388,
 u'2012-06-10': 388,
 u'2012-06-11': 389,
 u'2012-06-12': 389,
 u'2012-06-13': 389,
 u'2012-06-14': 389,
 u'2012-06-15': 389,
 u'2012-06-16': 389,
 u'2012-06-17': 389,
 u'2012-06-18': 390,
 u'2012-06-19': 390,
 u'2012-06-20': 390,
 u'2012-06-21': 390,
 u'2012-06-22': 390,
 u'2012-06-23': 390,
 u'2012-06-24': 390,
 u'2012-06-25': 391,
 u'2012-06-26': 391,
 u'2012-06-27': 391,
 u'2012-06-28': 391,
 u'2012-06-29': 391,
 u'2012-06-30': 391,
 u'2012-07-01': 391,
 u'2012-07-02': 392,
 u'2012-07-03': 392,
 u'2012-07-04': 392,
 u'2012-07-05': 392,
 u'2012-07-06': 392}

your_df_from_dict=pd.DataFrame.from_dict(your_dict,orient='index')
print(your_df_from_dict)

【讨论】：

这是一个非常糟糕的解决方案，因为它将字典键保存为索引。

【解决方案11】：

我认为您可以在创建字典时对数据格式进行一些更改，然后您可以轻松地将其转换为 DataFrame：

输入：

a={'Dates':['2012-06-08','2012-06-10'],'Date_value':[388,389]}

输出：

{'Date_value': [388, 389], 'Dates': ['2012-06-08', '2012-06-10']}

输入：

aframe=DataFrame(a)

输出：将是您的 DataFrame

您只需要在 Sublime 或 Excel 之类的地方使用一些文本编辑。

【讨论】：

【解决方案12】：

d = {'Date': list(yourDict.keys()),'Date_Values': list(yourDict.values())}
df = pandas.DataFrame(data=d)

如果您不将 yourDict.keys() 封装在 list() 内，那么您最终会将所有键和值放置在每一列的每一行中。像这样：

Date \ 0 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1... 1 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1... 2 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1... 3 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1... 4 (2012-06-08, 2012-06-09, 2012-06-10, 2012-06-1...

但是通过添加list()，结果如下所示：

Date Date_Values 0 2012-06-08 388 1 2012-06-09 388 2 2012-06-10 388 3 2012-06-11 389 4 2012-06-12 389 ...

【讨论】：

【解决方案13】：

这对我来说是这样的：

df= pd.DataFrame([d.keys(), d.values()]).T
df.columns= ['keys', 'values']  # call them whatever you like

希望对你有帮助

【讨论】：

【解决方案14】：

附言特别是，我发现面向行的示例很有帮助；因为通常是外部存储记录的方式。

https://pbpython.com/pandas-list-dict.html

【讨论】：

【解决方案15】：

这对我有用，因为我想有一个单独的索引列

df = pd.DataFrame.from_dict(some_dict, orient="index").reset_index()
df.columns = ['A', 'B']

【讨论】：

这个已修复，因此索引已为我更正

【解决方案16】：

我发现最简单的方法是创建一个空数据框并附加字典。你需要告诉熊猫不要关心索引，否则你会得到错误：TypeError: Can only append a dict if ignore_index=True

import pandas as pd
mydict = {'foo': 'bar'}
df = pd.DataFrame()
df = df.append(mydict, ignore_index=True)

【讨论】：