如何将熊猫列内的字典转换为单独的列？

Question

每个人。 这个问题已经被别人问过了。 Splitting dictionary/list inside a Pandas Column into Separate Columns

我已经问过这个问题了。但这并没有解决。 How to use pandas to build a column which are in a dataframe

现在，我有一个数据框。看起来像这样。

                     intron_id                                            octamer
0       >ENSG00000183943.1  AGCCATGC:1 AGUAGCUG:1 GCCUGGCC:1 AGAUGAUG:1 AG...
1       >ENSG00000183943.2  CATATTTC:1 UCCCAAAA:1 AAGCCATA:1 TATTTTGC:1 TA...
2       >ENSG00000183943.3  AGUAGCUG:4 UCAACAGG:1 CCUUUCAU:1 UACCUUUU:1 GC...
3       >ENSG00000183943.4  AUGAGCAC:1 UCCUACGG:1 GGAGGATC:1 AUAGGGUG:1 CC...
4       >ENSG00000183943.5  UUGCCAAU:1 AUGCUGGG:1 ACUAUUUU:1 GGAGGATC:3 UG...

现在，我想把它改成这样。

    intron_id   AGCCATGA AGUAGCUG  GCCUGGCC ......
>ENSG00000183943.1  1      1         1
>ENSG00000183943.2  0      0        0
>ENSG00000183943.3   0      0         0

但是当我尝试使用 apply(pd.Series) 或 df.octamer.values.tolist() 时，它们都不起作用。我很困惑。希望你能给我一些建议。先感谢您。我的代码如下。

    import pandas as pd

df=pd.read_csv('~/10genomic/elife/octamer/intron_seq/count.txt',delimiter='\t',header=None)
df.rename(columns={0:"intron_id",1:"octamer"},inplace=True)
df['octamer']=df['octamer'].apply(lambda x:str(x))
print(df)


                 intron_id                                            octamer
0       >ENSG00000183943.1  AGCCATGC:1 AGUAGCUG:1 GCCUGGCC:1 AGAUGAUG:1 AG...
1       >ENSG00000183943.2  CATATTTC:1 UCCCAAAA:1 AAGCCATA:1 TATTTTGC:1 TA...
2       >ENSG00000183943.3  AGUAGCUG:4 UCAACAGG:1 CCUUUCAU:1 UACCUUUU:1 GC...
3       >ENSG00000183943.4  AUGAGCAC:1 UCCUACGG:1 GGAGGATC:1 AUAGGGUG:1 CC...
4       >ENSG00000183943.5  UUGCCAAU:1 AUGCUGGG:1 ACUAUUUU:1 GGAGGATC:3 UG...

df.drop(labels=[2370,3967,5728,11875,14464],axis=0,inplace=True)


def builddict(x):
    dictls=[]
    for item in x.split(" "):
        dictls.append(item.split(":"))
    return(dict(dictls))

df['octamer']=df['octamer'].apply(builddict)
print(df)


                intron_id                                            octamer
0       >ENSG00000183943.1  {'AGCCATGC': '1', 'AGUAGCUG': '1', 'GCCUGGCC':...
1       >ENSG00000183943.2  {'CATATTTC': '1', 'UCCCAAAA': '1', 'AAGCCATA':...
2       >ENSG00000183943.3  {'AGUAGCUG': '4', 'UCAACAGG': '1', 'CCUUUCAU':...
3       >ENSG00000183943.4  {'AUGAGCAC': '1', 'UCCUACGG': '1', 'GGAGGATC':...
4       >ENSG00000183943.5  {'UUGCCAAU': '1', 'AUGCUGGG': '1', 'ACUAUUUU':...

print(df['octamer'].apply(pd.Series))


                                                      0
0      {'AGCCATGC': '1', 'AGUAGCUG': '1', 'GCCUGGCC':...
1      {'CATATTTC': '1', 'UCCCAAAA': '1', 'AAGCCATA':...
2      {'AGUAGCUG': '4', 'UCAACAGG': '1', 'CCUUUCAU':...
3      {'AUGAGCAC': '1', 'UCCUACGG': '1', 'GGAGGATC':...
4      {'UUGCCAAU': '1', 'AUGCUGGG': '1', 'ACUAUUUU':...

当我尝试如下解决它时，它产生了这个错误。我真的很困惑。

    df=pd.read_csv('~/10genomic/elife/octamer/intron_seq/countdict.txt',delimiter=',',index_col=0)
df=df.iloc[:3,:]
print(df)
            intron_id                                            octamer
0  >ENSG00000183943.1  {'AGCCATGC': '1', 'AGUAGCUG': '1', 'GCCUGGCC':...
1  >ENSG00000183943.2  {'CATATTTC': '1', 'UCCCAAAA': '1', 'AAGCCATA':...
2  >ENSG00000183943.3  {'AGUAGCUG': '4', 'UCAACAGG': '1', 'CCUUUCAU':...

temp_df=pd.DataFrame.from_records(df.pop("octamer"))
print(temp_df)
0     1     2     3     4     5      ... 73895 73896 73897 73898 73899 73900
0     {     '     A     G     C     C  ...  None  None  None  None  None  None
1     {     '     C     A     T     A  ...  None  None  None  None  None  None
2     {     '     A     G     U     A  ...     :           '     1     '     }

Answer 1

您可能会尝试遍历两列并创建单独的字典。这个解决方案不是最有效的，但我认为它可以完成工作。

我会创建一个包含所有键列表的字典：

dict = {'intron_id':[], 'AGCCATGC':[], etc..}

然后循环遍历 df 的每一行并遍历字典：

for index, row in df.iterrows():
    dict['intron_id'].append(row['intron_id'])
    for key, value in row['octamer'].iteritems():
        dict[key].append(value)

然后使用字典重新创建数据框。 Pandas DataFrame from Dictionary with Lists

这应该可以完成工作。可能存在一些语法问题，但希望对您有所帮助。

Answer 2

首先是一些假数据：

import pandas as pd


df = pd.DataFrame(data={
    "intron_id": ["A", "B"],
    "octamer": [{'AGCCATGC': '1', 'AGUAGCUG': '1'}, {'CATATTTC': '1', 'UCCCAAAA': '1'}],
})

print(df)

然后提取包含字典的列并将其传递给from_records 以创建我们的新数据框

temp_df = pd.DataFrame.from_records(df.pop("octamer"))
print(temp_df)

最后将我们的原始数据框与我们的新数据框合并，使用索引作为键

df = df.merge(temp_df, left_index=True, right_index=True)
print(df)

等等！ （至少我认为这就是你想要的）

编辑
如果我的值真的只是看起来像字典的字符串，我会得到类似的乱码结果。您可以通过从列中提取单个值并检查其类型来确认这一点：

df = pd.read_csv('~/10genomic/elife/octamer/intron_seq/countdict.txt',delimiter=',',index_col=0)
df = df.iloc[:3,:]
first_octamer = df["octamer"][0]
print(type(first_octamer))

我怀疑你会看到<class 'str'> 结果。如果是这样，我们可以使用ast.literal_eval 尝试将字符串解析为实际的字典：

temp_df = df.pop("octamer")
temp_df = temp_df.apply(ast.literal_eval)
temp_df = pd.DataFrame.from_records(temp_df)

df = df.merge(temp_df, left_index=True, right_index=True)
print(df)

我希望你的字符串格式正确，否则事情可能会变得棘手......