将列的数据提取到变量中

Question

我有一个非常大的数据框，其中一列是字典本身。 （假设第 12 列）。在那个字典中是一个超链接的一部分，我想得到它。

在 Jupyter 中，我想显示一个表格，其中包含第 0 列和第 2 列，以及完整的超链接

我想我需要：

• 从数据框中提取字典
• 从中获取特定的键值
• 从提取的值创建完整的超链接
• 复制数据框并将列替换为上面创建的超链接

让我们只解决第 1 步，我会为接下来的步骤提出其他问题。 如何将数据框中的值提取到我可以使用的变量中？

import pytd
import pandas

client = pytd.Client(apikey=widget_api_key.value, database=widget_database.value)
results = client.query(query)
dataframe = pandas.DataFrame(**results)
dataframe
# Not sure what to do next

Answer 1

如果你只想从字典中提取一个键并且字典已经作为字典存储在列中，你可以这样做：

import numpy  as np
import pandas as pd

# assuming, your dicts are stored in column 'data'
# and you want to store the url in column 'url'
df['url']= df['data'].map(lambda d: d.get('url', np.NaN) if hasattr(d, 'get') else np.NaN)

# from there you can do your transformation on the url column

测试数据和结果

df= pd.DataFrame({
        'col1': [1, 5, 6],
        'data': [{'url': 'http://foo.org', 'comment': 'not interesting'}, {'comment': 'great site about beer receipes, but forgot the url'}, np.NaN],
        'json': ['{"url": "http://foo.org", "comment": "not interesting"}', '{"comment": "great site about beer receipes, but forgot the url"}', np.NaN]
    }
)

# Result of the logic above:
   col1                                               data             url
0     1  {'url': 'http://foo.org', 'comment': 'not inte...  http://foo.org
1     5  {'comment': 'great site about beer receipes, b...             NaN
2     6                                                NaN             NaN

如果您需要测试，如果您的数据已经存储在python dicts（而不是字符串）中，您可以这样做：

print(df['data'].map(type))

如果你的dicts存储为字符串，你可以先根据以下代码将它们转换为dicts：

import json

def get_url_from_json(document):
    if pd.isnull(document):
        url= np.NaN
    else:
        try:
            _dict= json.loads(document)
            url= _dict.get('url', np.NaN)
        except:
            url= np.NaN
    return url

df['url2']= df['json'].map(get_url_from_json)

# output:
print(df[['col1', 'url', 'url2']])   

   col1             url            url2
0     1  http://foo.org  http://foo.org
1     5             NaN             NaN
2     6             NaN             NaN