删除以@开头的每一行的最后一个字符

Question

我想从我的 300 多个文件中删除以 @ 开头的每一行的最后一个字符，每个文件大约 1gb。

我的示例文件如下：

@1_1101_1473_2134_1
CATGCGGGAGGAGGAGGACGAGGACCTGCTGCAGTTTGCCATCCAGCAGAGTCTCCTGGAGGTGGGGGCCGAGTACGACCAGGTAACACCCC
+
FFFFFFFFFFFFFFFFFFFFBFFFFFFFFFFFFFFFFFFFFFFFFFFFFBFFBBFFFFF<FFFFFF/BFBF7FFBFFFFFFFFFFBFFFFFF
@1_1101_1635_2243_1
CATGCACACCTCCCGGTCTCCGTTGTGGAGGATCAGGTCCACGATCTCCTGGGTCCACGTGGTGCCTACACACACACACACACACACACACA
+
FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF

我想从以 @ 开头的行中删除最后一个字符 1，所以我的输出应该是

@1_1101_1473_2134_
CATGCGGGAGGAGGAGGACGAGGACCTGCTGCAGTTTGCCATCCAGCAGAGTCTCCTGGAGGTGGGGGCCGAGTACGACCAGGTAACACCCC
+
FFFFFFFFFFFFFFFFFFFFBFFFFFFFFFFFFFFFFFFFFFFFFFFFFBFFBBFFFFF<FFFFFF/BFBF7FFBFFFFFFFFFFBFFFFFF
@1_1101_1635_2243_
CATGCACACCTCCCGGTCTCCGTTGTGGAGGATCAGGTCCACGATCTCCTGGGTCCACGTGGTGCCTACACACACACACACACACACACACA
+
FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF

我首先尝试了python，它适用于这些行，但作为一个新手，我无法弄清楚如何在输出中保留所有行。

with open("file.fq") as f:
        for line in f:
                length=(len(line)-2)
                if line.startswith('@'):
                        line=line[:length]+''+line[length+1:]
                        print(line)

这当然只给出“线条”，但我想证明它有效

@1_1101_1473_2134_

@1_1101_1635_2243_

然后我尝试了 awk 和 sed。我可以使用 awk 选择以 @ 开头的行，如下所示：

awk '{if (/^@/)}'

我可以使用 sed 删除每行的最后一个字符：

sed {'s/.$//'}

所以我当然尝试将这两者结合起来，就像：

awk '{if (/^@/)}' | sed {'s/.$//'} file.fq

这不起作用。

顺便说一句，如果可能的话，我宁愿直接从我的文件中删除这些字符，而不是创建一个删除这些字符的新文件，因为我有超过 300gb 的数据，当然我更喜欢一种快速的方法。

高度赞赏任何升级我的命令的帮助，或以任何其他方式执行此操作的任何替代方式。此外，我希望在循环中为所有文件运行正确的命令，这就是为什么我首先尝试生成一个 python 脚本，所以任何关于你的解决方案的循环阶段的帮助也会很棒。

非常感谢

Answer 1

$ sed -i '/^@/ s/.$//' file.fq
$ cat file.fq
@1_1101_1473_2134_
CATGCGGGAGGAGGAGGACGAGGACCTGCTGCAGTTTGCCATCCAGCAGAGTCTCCTGGAGGTGGGGGCCGAGTACGACCAGGTAACACCCC
+
FFFFFFFFFFFFFFFFFFFFBFFFFFFFFFFFFFFFFFFFFFFFFFFFFBFFBBFFFFF<FFFFFF/BFBF7FFBFFFFFFFFFFBFFFFFF
@1_1101_1635_2243_
CATGCACACCTCCCGGTCTCCGTTGTGGAGGATCAGGTCCACGATCTCCTGGGTCCACGTGGTGCCTACACACACACACACACACACACACA
+
FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF

• /^@/ 匹配以 @ 开头的行
• s/.$//删除这些行的最后一个字符
• -i 就地编辑，-i 选项的用法因sed 版本而异，请参阅语法文档

与python

import fileinput

with fileinput.input(inplace=True) as f:
    for line in f:
        line = line.rstrip('\n');

        if line.startswith('@'):
            line = line[:-1]

        print(line)

• 这将接受文件作为命令行参数，因此您可以执行./del_last.py *.fq 之类的操作
• 另见Python's slice notation

Answer 2

对于您的 Python 脚本，您只需将 print 语句从条件套件中取出：

with open("file.fq") as f:
    for line in f:
        if line.startswith('@'):
            line = line[:-2] + '\n'
        print(line, end = '')

---

如果您有足够的内存保存一个完整的文件和一个副本，您可以使用正则表达式并立即对整个文件进行更改。

import re
pattern = '^(@.*?)\S\r?\n'
rex = re.compile(pattern, flags = re.MULTILINE)
with open("file.fq") as f:
    data = f.read()
new = rex.sub(r'\1\n', data)

Answer 3

这应该可行：

sed 's/\(^@.*\)./\1/' <file>

Answer 4

从第一个 @ 到下一个 @。他们的行号是否相等？整个文件是 4 吗？

@1_1101_1473_2134_1
CATGCGGGAGGAGGAGGACGAGGACCTGCTGCAGTTTGCCATCCAGCAGAGTCTCCTGGAGGTGGGGGCCGAGTACGACCAGGTAACACCCC
+
FFFFFFFFFFFFFFFFFFFFBFFFFFFFFFFFFFFFFFFFFFFFFFFFFBFFBBFFFFF<FFFFFF/BFBF7FFBFFFFFFFFFFBFFFFFF
@1_1101_1635_2243_1
CATGCACACCTCCCGGTCTCCGTTGTGGAGGATCAGGTCCACGATCTCCTGGGTCCACGTGGTGCCTACACACACACACACACACACACACA
+
FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF

如果是这样的话。它可能对你有帮助。查找第一个 @ 然后删除第 4 行的最后一个字符。然后从这一行 (4) 找到下一个 @ 然后 +4 行并删除最后一个字符....