比较大列表中的项目 - 查找长度不同的 1 个字母的项目 - Python

【问题标题】：Comparing items in large list - finding items differing in 1 letter by length - Python比较大列表中的项目 - 查找长度不同的 1 个字母的项目 - Python
【发布时间】：2014-08-21 02:46:49
【问题描述】：

我正在寻找解决我在 Python 中遇到的问题。我有一个文件，有一列，其中包含大约。 6,000 行。对于每一行，每个项目都是唯一的（此文件已被过滤以从 40,000 行文件中删除重复项）。每行中的项目长度不同，其中一些长度与其他长度相同。

单行示例：

IGHV3-30/33rn-IGHJ4-CARDPSLSSMITFGGVIVTRGYFDYW

或更多在第三个“-”后分隔制表符的示例（不同的第一部分）：

IGHV3-23-IGHJ4  CAKDRGYTGYGVYFDYW
IGHV4-39-IGHJ4  CARHDILTGYSYYFDYW
IGHV3-23-IGHJ3  CAKSGGWYLSDAFDIW
IGHV4-39-IGHJ4  CARTGFGELGFDYW
IGHV1-2-IGHJ2   CARDSDYDWYFDLW
IGHV1-8-IGHJ3   CARGQTYYDILTGPSDAFDIW
IGHV4-39-IGHJ5  CARSTGDWFDPW
IGHV3-9-IGHJ3   CANVPIYSSSYDAFDIW
IGHV3-23-IGHJ4  CAKDWELYYFDYW
IGHV3-23-IGHJ4  CAKDRGYTGFGVYFDYW
IGHV4-39-IGHJ4  CARHLGYNNSWYPFDYW
IGHV1-2-IGHJ4   CAREGYNWNDEGRFDYW
IGHV3-23-IGHJ3  CAKSSGWYLSDAFDIW
IGHV4-39-IGHJ4  CARYLGYNSNWYPFDYW
IGHV3-23-IGHJ6  CAKEGCSSGCPYYYYGMDVW
IGHV3-23-IGHJ3  CAKWGPDAFDIW
IGHV3-11-IGHJ   CATSGGSP
IGHV3-11-IGHJ4  CARDGDGYNDYW
IGHV1-2-IGHJ4   CARRIGYSSGSEDYW
IGHV1-2-IGHJ4   CARDIAVPGHGDYW
IGHV6-1-IGHJ4   CASGGAVPGYYFDYW

在第一列中，有一些不同的项目。在第二列中，每个项目都是唯一的。第一列项目需要匹配，然后第二列项目需要按最小不匹配 2 排序。 理想情况下，这与 Levenshtein 模块有关，因为我可以放置最大值，但我需要两个字符串。有没有办法在单个列表中的每个项目上使用 Levenshtein？

我需要做的是打开这个文件（我认为先按长度排序可能会有所帮助，但我不确定）。在所有项目按长度分组后，我需要将这些项目分类为相差 1 个字符的组（第三个“-”之前的字符串需要相同，其中“-”之后的字符串应该仅相差 1 个字符.)

我认为我遇到的问题是关于生成适当的 for 循环来迭代项目长度。

到目前为止我的代码：

import sys
import os
import Levenshtein

inp = sys.argv[1] # Input file containing single column of items

with open(inp, "r") as f1:
        vj = [line.strip() for line in f1]

lengths = []
for k in vj:
        i = len(k)
        lengths.append(i)

lengths_sort = sorted(lengths, reverse = True)

uniq_len = []
for i in lengths_sort:
       if i not in uniq_len:
                uniq_len.append(i)

print uniq_len #For QC purposes

def get_new_list(strings, counts, outlist=[]):
        for s in strings:
                if len(s) == counts[0]:
                        outlist.append(s)
        return outlist

new_vj = get_new_list(vj, uniq_len, outlist=[])
print new_vj
ham = Levenshtein.hamming(new_vj[0], new_vj[1])
print ham

所以我正在寻找的输出很好，但还没有完成：

[46, 44, 43, 42, 41, 40, 39, 38, 37, 36, 35, 34, 33, 32, 31, 30, 29, 28, 27, 26, 25, 24, 23, 22, 21, 20, 19, 18]
46
['IGHV3-30/33rn-IGHJ4-CAKDPSLSSMITFGGVIVTRGYFDYW', 'IGHV3-30/33rn-IGHJ4-CARDPSLSSMITFGGVIVTRGYFDYW']
1

有两个长度为 46 的项目（巧合的是，第三个“-”之前的字符串是相同的；很棒），它们在两个字符串之间仅相差一个字符。

我的麻烦是，1. 我如何遍历 uniq_len 列表中的数字作为未输入的“字符串”列表中的匹配长度（参见代码中的函数）。 2. 我想为每个不同的长度创建一个新列表。 3. 如果每个新列表中有多个项目，则所有项目相差仅 1 个字符。

注意：“-”是使用 UNIX paste -d- 命令创建的，其中包含 3 个文件，每个文件包含 1 列以创建此文件。将这些文件与作为分隔符的 \t 一起粘贴以创建 3 列会更容易吗？

那么，打开文件，去掉行，然后可以匹配第一列，第二列，看看第三列是否相差一个或多个字符？

感谢所有帮助。

【问题讨论】：

  • 您要查找 length 相差一个的字符串，还是相差一个 character 的字符串。 IE：“abc”/“abcd”和“abc”/“abx”。
  • 长度相等但相差一个字符的字符串。我想为每个相差 1 的长度创建新列表。我会为 2、3、4 等再次执行此操作，直到没有更多项目。
  • 您的代码在几个地方引用了一个名为 v 的变量。它是什么？您还指的是“项目”（我认为在每一行中）——您是指由“-”字符分隔的字符组吗？
  • v 是拼写错误。我相信我纠正了错误。当我提到一个“项目”时，我指的是整行。所以，是的，由“-”分隔的字符组。正如我所提到的，输入文件中的字符串是使用来自其他单列文件的 unix paste 创建的。理想情况下，也许最好使用具有两列的单个文件。例如：IGHV3-30/33rn-IGHJ4 \t CARDPSLSSMITFGGVIVTRGYFDYW。第一列中的项目需要匹配第二列中的项目才能首先考虑长度，然后是最大 1 的不匹配字符。
  • 您能否提供一些额外的示例数据（两个项目的长度相同和不同）？

标签： python regex string list levenshtein-distance


【解决方案1】：

更新：修改为处理可变数量的“id”子字段并将结果打印为单个字符串。请注意，在输入的末尾添加了几个测试用例，以使一些用不同数量的前导字段构成 id（即 2 而不是 3）。

我还重命名了num_mismatches()functionhamming_distance()因为它就是这样。

使用以下输入：

IGHV3-23-IGHJ4-CAKDRGYTGYGVYFDYW
IGHV4-39-IGHJ4-CARHDILTGYSYYFDYW
IGHV3-23-IGHJ3-CAKSGGWYLSDAFDIW
IGHV4-39-IGHJ4-CARTGFGELGFDYW
IGHV1-2-IGHJ2-CARDSDYDWYFDLW
IGHV1-8-IGHJ3-CARGQTYYDILTGPSDAFDIW
IGHV4-39-IGHJ5-CARSTGDWFDPW
IGHV3-9-IGHJ3-CANVPIYSSSYDAFDIW
IGHV3-23-IGHJ4-CAKDWELYYFDYW
IGHV3-23-IGHJ4-CAKDRGYTGFGVYFDYW
IGHV4-39-IGHJ4-CARHLGYNNSWYPFDYW
IGHV1-2-IGHJ4-CAREGYNWNDEGRFDYW
IGHV3-23-IGHJ3-CAKSSGWYLSDAFDIW
IGHV4-39-IGHJ4-CARYLGYNSNWYPFDYW
IGHV3-23-IGHJ6-CAKEGCSSGCPYYYYGMDVW
IGHV3-23-IGHJ3-CAKWGPDAFDIW
IGHV3-11-IGHJ-CATSGGSP
IGHV3-11-IGHJ4-CARDGDGYNDYW
IGHV1-2-IGHJ4-CARRIGYSSGSEDYW
IGHV1-2-IGHJ4-CARDIAVPGHGDYW
IGHV6-1-IGHJ4-CASGGAVPGYYFDYW
IGHV1-2-CAREGYNWNDEGRFDYW
IGHV4-39-CARSTGDWFDPW
IGHV1-2-CARDSDYDWYFDLW

还有这个脚本：

from collections import defaultdict
from itertools import izip, tee
import os
import sys

# http://en.wikipedia.org/wiki/Hamming_distance#Algorithm_example
def hamming_distance(s1, s2):
    """ Count number of mismatched characters in equal length strings. """
    if not isinstance(s1, basestring): raise ValueError('s1 is not a string')
    if not isinstance(s2, basestring): raise ValueError('s2 is not a string')
    if len(s1) != len(s2): raise ValueError('string lengths do not match')
    return sum(a != b for a, b in izip(s1, s2))

def pairwise(iterable):  # itertools recipe
    "s -> (s0,s1), (s1,s2), (s2, s3), ..."
    a, b = tee(iterable)
    next(b, None)
    return izip(a, b)

inp = sys.argv[1]  # Input file

unique = defaultdict(list)
with open(inp, 'rb') as file:
    for fields in (line.strip().split('-') for line in file):
        id = '-'.join(fields[:-1])  # recombine all but last field into an id
        unique[id].append(fields[-1])  # accumulate ending fields with same id

for id in sorted(unique):
    final_fields = unique[id]
    final_fields.sort(key=lambda field: len(field))  # sort by length
    print id + ':' + '-'.join(final_fields)
    if len(final_fields) > 1:  # at least one pair to compare for mismatches?
        for a, b in pairwise(final_fields):
            if len(a) == len(b) and hamming_distance(a, b) < 2:
                print '  {!r} and {!r} differ by < 2 characters'.format(a, b)

输出：

IGHV1-2:CARDSDYDWYFDLW-CAREGYNWNDEGRFDYW
IGHV1-2-IGHJ2:CARDSDYDWYFDLW
IGHV1-2-IGHJ4:CARDIAVPGHGDYW-CARRIGYSSGSEDYW-CAREGYNWNDEGRFDYW
IGHV1-8-IGHJ3:CARGQTYYDILTGPSDAFDIW
IGHV3-11-IGHJ:CATSGGSP
IGHV3-11-IGHJ4:CARDGDGYNDYW
IGHV3-23-IGHJ3:CAKWGPDAFDIW-CAKSGGWYLSDAFDIW-CAKSSGWYLSDAFDIW
  'CAKSGGWYLSDAFDIW' and 'CAKSSGWYLSDAFDIW' differ by < 2 characters
IGHV3-23-IGHJ4:CAKDWELYYFDYW-CAKDRGYTGYGVYFDYW-CAKDRGYTGFGVYFDYW
  'CAKDRGYTGYGVYFDYW' and 'CAKDRGYTGFGVYFDYW' differ by < 2 characters
IGHV3-23-IGHJ6:CAKEGCSSGCPYYYYGMDVW
IGHV3-9-IGHJ3:CANVPIYSSSYDAFDIW
IGHV4-39:CARSTGDWFDPW
IGHV4-39-IGHJ4:CARTGFGELGFDYW-CARHDILTGYSYYFDYW-CARHLGYNNSWYPFDYW-CARYLGYNSNWYPFDYW
IGHV4-39-IGHJ5:CARSTGDWFDPW
IGHV6-1-IGHJ4:CASGGAVPGYYFDYW

希望这次更新也有帮助...

【讨论】：

  • 好的。为了使项目被视为不匹配，它们必须首先匹配前三个值：第二个示例中的“IGHV3”、“23”、“IGHJ4。第四个值是查找不匹配的主要值, 首先基于长度。因此，程序应先按前 3 个字段排序，然后按第四个字段的长度排序（之前使用所有字段连接），然后按不匹配数
  • 顺便说一句，您可能希望更改首次构建 unique 字典的步骤以避免添加重复的第四个字段。此外，第四个字段可能有一个更好的名称——比如aa_sequence 之类的。
  • 是的。谢谢马蒂诺。
  • Martineau，我投票赞成并接受了答案。从中获取这个 sn-p 的原始数据集也包含 2 或 4 个“-”，并不总是 3 个。我能够修改代码来解决这个问题。我对代码有疑问。如果存在异常值，即与前两个字段匹配但相差大于 2 的异常值怎么办？如果前两个字段匹配，我还希望能够确定有多少是 2。
  • 在您上次评论中的情况下，除了第二对字符串之外的所有字符串的长度都不同，因此如果您将它们传递给它，该函数会引发异常。第二种情况下的两个字符串长度相同，并且它们的汉明距离 i 即a[i] 必须等于b[i]，否则将被视为不匹配。在您之前的评论中，它们都是长度为 1 的 lists，每个中的字符串的长度都不同。我认为您可能正在传递 hamming_distance() 函数 2 个字符串列表而不是 2 个字符串。
【解决方案2】：

假设您要按 A) 列的长度，B) 该列的 Levenshtein 距离与上方或下方的 col 对某些行进行排序。

问题立即出现，levenshtein 距离在 2 个相对对象之间；即，Levenshtein(a, b) 不是像 len(a) 这样的单声道属性。 levenshtein 距离的值随着列表中的行相对于彼此的位置变化而变化。

Python 2.X 支持较旧的 cmp 与 key 参数进行排序。这是低效的，因为它必须在每次通过排序时重新评估。但是，Levenshtein 排序是相对于条目上方和下方的项目而言的。

作为示例，让我们为您的示例数据制作一个矩阵：

txt='''\
IGHV3-23-IGHJ4  CAKDRGYTGYGVYFDYW
IGHV4-39-IGHJ4  CARHDILTGYSYYFDYW
IGHV3-23-IGHJ3  CAKSGGWYLSDAFDIW
IGHV4-39-IGHJ4  CARTGFGELGFDYW
IGHV1-2-IGHJ2   CARDSDYDWYFDLW
IGHV1-8-IGHJ3   CARGQTYYDILTGPSDAFDIW
IGHV4-39-IGHJ5  CARSTGDWFDPW
IGHV3-9-IGHJ3   CANVPIYSSSYDAFDIW
IGHV3-23-IGHJ4  CAKDWELYYFDYW
IGHV3-23-IGHJ4  CAKDRGYTGFGVYFDYW
IGHV4-39-IGHJ4  CARHLGYNNSWYPFDYW
IGHV1-2-IGHJ4   CAREGYNWNDEGRFDYW
IGHV3-23-IGHJ3  CAKSSGWYLSDAFDIW
IGHV4-39-IGHJ4  CARYLGYNSNWYPFDYW
IGHV3-23-IGHJ6  CAKEGCSSGCPYYYYGMDVW
IGHV3-23-IGHJ3  CAKWGPDAFDIW
IGHV3-11-IGHJ   CATSGGSP
IGHV3-11-IGHJ4  CARDGDGYNDYW
IGHV1-2-IGHJ4   CARRIGYSSGSEDYW
IGHV1-2-IGHJ4   CARDIAVPGHGDYW
IGHV6-1-IGHJ4   CASGGAVPGYYFDYW'''

data=[line.split() for line in txt.splitlines()] 
# [['IGHV3-23-IGHJ4', 'CAKDRGYTGYGVYFDYW'], ['IGHV4-39-IGHJ4', 'CARHDILTGYSYYFDYW'], ['IGHV3-23-IGHJ3', 'CAKSGGWYLSDAFDIW'], ['IGHV4-39-IGHJ4', 'CARTGFGELGFDYW'], ['IGHV1-2-IGHJ2', 'CARDSDYDWYFDLW'], ['IGHV1-8-IGHJ3', 'CARGQTYYDILTGPSDAFDIW'], ['IGHV4-39-IGHJ5', 'CARSTGDWFDPW'], ['IGHV3-9-IGHJ3', 'CANVPIYSSSYDAFDIW'], ['IGHV3-23-IGHJ4', 'CAKDWELYYFDYW'], ['IGHV3-23-IGHJ4', 'CAKDRGYTGFGVYFDYW'], ['IGHV4-39-IGHJ4', 'CARHLGYNNSWYPFDYW'], ['IGHV1-2-IGHJ4', 'CAREGYNWNDEGRFDYW'], ['IGHV3-23-IGHJ3', 'CAKSSGWYLSDAFDIW'], ['IGHV4-39-IGHJ4', 'CARYLGYNSNWYPFDYW'], ['IGHV3-23-IGHJ6', 'CAKEGCSSGCPYYYYGMDVW'], ['IGHV3-23-IGHJ3', 'CAKWGPDAFDIW'], ['IGHV3-11-IGHJ', 'CATSGGSP'], ['IGHV3-11-IGHJ4', 'CARDGDGYNDYW'], ['IGHV1-2-IGHJ4', 'CARRIGYSSGSEDYW'], ['IGHV1-2-IGHJ4', 'CARDIAVPGHGDYW'], ['IGHV6-1-IGHJ4', 'CASGGAVPGYYFDYW']]

现在按row[1] 的长度对这些行进行排序：

data.sort(key=lambda l: len(l[1]))

现在根据条目的 levenshtein 距离进行排序。请注意，您需要使用 cmp，因为 levenstein 基于两个值：

data.sort(cmp=levenshtein)

# [['IGHV3-11-IGHJ', 'CATSGGSP'], ['IGHV4-39-IGHJ5', 'CARSTGDWFDPW'], ['IGHV3-23-IGHJ3', 'CAKWGPDAFDIW'], ['IGHV3-11-IGHJ4', 'CARDGDGYNDYW'], ['IGHV3-23-IGHJ4', 'CAKDWELYYFDYW'], ['IGHV4-39-IGHJ4', 'CARTGFGELGFDYW'], ['IGHV1-2-IGHJ2', 'CARDSDYDWYFDLW'], ['IGHV1-2-IGHJ4', 'CARDIAVPGHGDYW'], ['IGHV1-2-IGHJ4', 'CARRIGYSSGSEDYW'], ['IGHV6-1-IGHJ4', 'CASGGAVPGYYFDYW'], ['IGHV3-23-IGHJ3', 'CAKSGGWYLSDAFDIW'], ['IGHV3-23-IGHJ3', 'CAKSSGWYLSDAFDIW'], ['IGHV3-23-IGHJ4', 'CAKDRGYTGYGVYFDYW'], ['IGHV4-39-IGHJ4', 'CARHDILTGYSYYFDYW'], ['IGHV3-9-IGHJ3', 'CANVPIYSSSYDAFDIW'], ['IGHV3-23-IGHJ4', 'CAKDRGYTGFGVYFDYW'], ['IGHV4-39-IGHJ4', 'CARHLGYNNSWYPFDYW'], ['IGHV1-2-IGHJ4', 'CAREGYNWNDEGRFDYW'], ['IGHV4-39-IGHJ4', 'CARYLGYNSNWYPFDYW'], ['IGHV3-23-IGHJ6', 'CAKEGCSSGCPYYYYGMDVW'], ['IGHV1-8-IGHJ3', 'CARGQTYYDILTGPSDAFDIW']]

如果要将二元排序cmp改为键类型（对于不支持cmp的Python 3），可以产生比较对象：

def cmp_to_key(mycmp):
    'Convert a cmp= function into a key= function'
    class K(object):
        def __init__(self, obj, *args):
            self.obj = obj
        def __lt__(self, other):
            return mycmp(self.obj, other.obj) < 0
        def __gt__(self, other):
            return mycmp(self.obj, other.obj) > 0
        def __eq__(self, other):
            return mycmp(self.obj, other.obj) == 0
        def __le__(self, other):
            return mycmp(self.obj, other.obj) <= 0
        def __ge__(self, other):
            return mycmp(self.obj, other.obj) >= 0
        def __ne__(self, other):
            return mycmp(self.obj, other.obj) != 0
    return K

你调用排序使用data.sort(key=cmp_to_key(levenshtein))

【讨论】：

    猜你喜欢
    • 2015-08-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-07-03
    • 1970-01-01
    • 2017-12-24
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode