将 fastq 文件读入字典答案

【问题标题】：read fastq file into dictionary将 fastq 文件读入字典
【发布时间】：2018-08-21 20:48:52
【问题描述】：

我有一个这样的 fastq 文件（文件的一部分）：

@A80HNBABXX:4:1:1344:2224#0/1
AAAACATCAGTATCCATCAGGATCAGTTTGGAAAGGGAGAGGCAATTTTTCCTAAACATGTGTTCAAATGGTCTGAGACAGACGTTAAAATGAAAAGGGG  
+
\\YYWX\PX^YT[TVYaTY]^\^H\`^`a`\UZU__TTbSbb^\a^^^`[GOVVXLXMV[Y_^a^BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB  
@A80HNBABXX:4:1:1515:2211#0/1
TTAGAAACTATGGGATTATTCACTCCCTAGGTACTGAGAATGGAAACTTTCTTTGCCTTAATCGTTGACATCCCCTCTTTTAGGTTCTTGCTTCCTAACA  
+  
ee^e^\`ad`eeee\dd\ddddYeebdd\ddaYbdcYc`\bac^YX[V^\Ybb]]^bdbaZ]ZZ\^K\^]VPNME][`_``Ubb_bYddZbbbYbbYT^_  
@A80HNBABXX:4:1:1538:2220#0/1
CTGAGTAAATCATATACTCAATGATTTTTTTATGTGTGTGCATGTGTGCTGTTGATATTCTTCAGTACCAAAACCCATCATCTTATTTGCATAGGGAAGT  
+
fff^fd\c^d^Ycac`dcdcded`effdfedb]beeeeecd^ddccdddddfff`eaeeeffdTecacaLV[QRPa\\a\`]aY]ZZ[XYcccYcZ\\]Y  
@A80HNBABXX:4:1:1666:2222#0/1
CTGCCAGCACGCTGTCACCTCTCAATAACAGTGAGTGTAATGGCCATACTCTTGATTTGGTTTTTGCCTTATGAATCAGTGGCTAAAAATATTATTTAAT  
+
deeee`bbcddddad\bbbbeee\ecYZcc^dd^ddd\\`]``L`ccabaVJ`MZ^aaYMbbb__PYWY]RWNUUab`Y`BBBBBBBBBBBBBBBBBBBB

FASTQ 文件每个序列使用四行。第 1 行以“@”字符开头，后跟序列标识符。第 2 行是 DNA 序列字母。第 3 行以“+”字符开头。第 4 行编码第 2 行中序列的质量值（“+”之后和下一个“@”之前的部分，并且必须包含与序列中的字母相同数量的符号。

我想把fastq文件读成这样的字典（key是DNA序列，value是质量值，“@”和“+”开头的行可以去掉）：

{'AAAACATCAGTATCCATCAGGATCAGTTTGGAAAGGGAGAGGCAATTTTTCCTAAACATGTGTTCAAATGGTCTGAGACAGACGTTAAAATGAAAAGGGG':'\YYWX\PX^YT[TVYaTY]^\^H`^a\UZU__TTbSbb^\a^^^[GOVVXLXMV[Y_^a^BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB',
 'CTGAGTAAATCATATACTCAATGATTTTTTTATGTGTGTGCATGTGTGCTGTTGATATTCTTCAGTACCAAAACCCATCATCTTATTTGCATAGGGAAGT':'fff^fd\c^d^Ycacdcdcdedeffdfedb]beeeeecd^ddccdddddfffeaeeeffdTecacaLV[QRPa\a`]aY]ZZ[XYcccYcZ\]Y ',
    ....}

我编写了以下代码，但它没有给我想要的东西。谁能帮我修复/改进我的代码？

class fastq(object):
def __init__(self,filename):
    self.filename = filename
    self.__sequences = {}

def parse_file(self):
    symbol=['@','+']
    """Stores both the sequence and the quality values for the sequence"""
    f = open(self.filename,'rU')
    for lines in self.filename:
        if symbol not in lines.startwith()
        data = f.readlines()
return data

【问题讨论】：

你需要更具体——“没有给我我想要的”并没有告诉我们你想要什么。请解释你得到的行为和你想要的行为之间的区别。
我想把fastq文件读成这样的字典（key是DNA序列，value是质量值，“@”和“+”开头的行可以去掉):
类似于 {'AAAACATCAGTATCCATCAGGATCAGTTTGGAAAGGGAGAGGCAATTTTTCCTAAACATGTGTTCAAATGGTCTGAGACAGACGTTAAAATGAAAAGGGG:'\YYWX\PX^YT[TVYaTY]^\^H^a\UZU__TTbSbb^\a^^^[GOVVXLXMV[Y_^a^BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB', 'CTGAGTAAATCATATACTCAATGATTTTTTTATGTGTGTGCATGTGTGCTGTTGATATTCTTCAGTACCAAAACCCATCATCTTATTTGCATAGGGAAGT': 'fff^fd\c^d^Ycacdcdcdedeffdfedb]beeeeecd^ddccdddddfffeaeeeffdTecacaLV[QRPa\a]aY]ZZ[XYcccYcZ]Y ',...}
编辑问题，不要只是将文本转储到 cmets 中！
这不是一个确切的答案，但如果您正在处理 fasq，也许您应该检查 Biopython 库，SeqIO 模块 (biopython.org/DIST/docs/api/Bio.SeqIO-module.html)。以防万一你重新发明轮子编码解析器......

标签： python python-2.7 fastq

【解决方案1】：

这是一种非常快速有效的方法：

def parse_file(self):
    with open(self.filename, 'r') as f:
        content = f.readlines()

        # Recreate content without lines that start with @ and +
        content = [line for line in content if not line[0] in '@+']

        # Now the lines you want are alternating, so you can make a dict
        # from key/value pairs of lists content[0::2] and content[1::2]
        data = dict(zip(content[0::2], content[1::2]))

    return data

【讨论】：

@neymar 没问题，如果您觉得有帮助，请随时accept我的回答！
如果 fastq 文件大小为 10GB，f.readlines() 会将所有行读取到内存中怎么办？
@FadelBerakdar 显然有一个解决这个问题的方法可以遍历文件，但这超出了所述问题的范围。

【解决方案2】：

我不认为使用读取作为关键是好主意，如果您得到完全相同的读取怎么办。但是，如果您想这样做，无论如何：

In [9]:
with open('temp.fastq') as f:
    lines=f.readlines()
head=[item[:-1] for item in lines[::4]] #get rid of '\n'
read=[item[:-1] for item in lines[1::4]]
qual=[item[:-1] for item in lines[3::4]]
dict(zip(read, qual))

Out[9]:

{'AAAACATCAGTATCCATCAGGATCAGTTTGGAAAGGGAGAGGCAATTTTTCCTAAACATGTGTTCAAATGGTCTGAGACAGACGTTAAAATGAAAAGGGG': '\\\\YYWX\\PX^YT[TVYaTY]^\\^H\\`^`a`\\UZU__TTbSbb^\\a^^^`[GOVVXLXMV[Y_^a^BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB',
 'CTGAGTAAATCATATACTCAATGATTTTTTTATGTGTGTGCATGTGTGCTGTTGATATTCTTCAGTACCAAAACCCATCATCTTATTTGCATAGGGAAGT': 'fff^fd\\c^d^Ycac`dcdcded`effdfedb]beeeeecd^ddccdddddfff`eaeeeffdTecacaLV[QRPa\\\\a\\`]aY]ZZ[XYcccYcZ\\\\]Y',
 'CTGCCAGCACGCTGTCACCTCTCAATAACAGTGAGTGTAATGGCCATACTCTTGATTTGGTTTTTGCCTTATGAATCAGTGGCTAAAAATATTATTTAAT': 'deeee`bbcddddad\\bbbbeee\\ecYZcc^dd^ddd\\\\`]``L`ccabaVJ`MZ^aaYMbbb__PYWY]RWNUUab`Y`BBBBBBBBBBBBBBBBBBBB',
 'TTAGAAACTATGGGATTATTCACTCCCTAGGTACTGAGAATGGAAACTTTCTTTGCCTTAATCGTTGACATCCCCTCTTTTAGGTTCTTGCTTCCTAACA': 'ee^e^\\`ad`eeee\\dd\\ddddYeebdd\\ddaYbdcYc`\\bac^YX[V^\\Ybb]]^bdbaZ]ZZ\\^K\\^]VPNME][`_``Ubb_bYddZbbbYbbYT^_'}

【讨论】：

【解决方案3】：

您可以使用 Bio 中的函数，如下所示：

    from Bio import SeqIO

    myf=mydir+myfile
    startlist=[]
    for record in SeqIO.parse(myf, "fastq"):
       startlist.append(str(record.seq)) #or without 'str'

【讨论】：