【问题标题】:Can I compare two sets of tuples based on the elements of the tuples without nested looping?我可以在没有嵌套循环的情况下根据元组的元素比较两组元组吗?
【发布时间】:2019-05-28 08:33:46
【问题描述】:

我有以下代码:

ChangedLinks = set(NewLinkData) - set(OldLinkData)
ReplaceQueue = []
LinkUpdateTokenID = 0
for ChangedLink in ChangedLinks:
    for OldLink in OldLinkData:
        if ChangedLink[0] is OldLink[0]:
            ReplaceStrings = (OldLink[1], "<<LINK UPDATE TOKEN " + str(LinkUpdateTokenID) + ">>", ChangedLink[1])
            ReplaceQueue.append(ReplaceStrings)
    LinkUpdateTokenID += 1

ChangedLinks 是一组元组,OldLinkData 是一组元组。

随着ChangedLinksOldLinkData 的长度增加,该方法的性能明显下降,因为当然有;这只是纯粹的数学!从用户的角度来看,它从有效的瞬时到花费大量时间(尽管不到一秒,至少在我的机器上)。

只有当我可以将OldLinkData 中元组的第一个元素与ChangedLinks 中元组的第一个元素相同的对象匹配时,我才需要向ReplaceQueue 列表添加一个新元素。 (这些元组元素在它们各自的列表中是唯一的,例如,OldLinkData[0][0]OldLinkData 的所有其他成员中是唯一的,OldLinkData[1][0] 也是如此,等等。)我能想到的唯一方法是完成这是在上面的代码中循环遍历每个集合/列表并比较元组元素。

有没有更有效的方法来做到这一点?理想情况下,我想要一些方法来快速构建一个列表,其中只有OldLinkData 的成员与ChangedLinks 的一个成员共享他们的第一个元素,顺序与ChangedLinks 相同,这样我就可以比较列表并排。但我不知道如何开始解决这个问题。

编辑:预期输入和输出的一些示例:

OldLinkData:  [(<Page.Page object at 0x035AF070>, ']([0])'), (<Page.Page object at 0x043FE4F0>, ']([0, 0])'), (<Page.Page object at 0x043FE590>, ']([0, 0, 0])'), (<Page.Page object at 0x043FE5B0>, ']([0, 1])')]

NewLinkData:  [(<Page.Page object at 0x035AF070>, ']([0])'), (<Page.Page object at 0x043FE5B0>, ']([0, 0])'), (<Page.Page object at 0x043FE4F0>, ']([0, 1])'), (<Page.Page object at 0x043FE590>, ']([0, 1, 0])')]

ChangedLinks:  {(<Page.Page object at 0x043FE590>, ']([0, 1, 0])'), (<Page.Page object at 0x043FE5B0>, ']([0, 0])'), (<Page.Page object at 0x043FE4F0>, ']([0, 1])')}

ReplaceQueue:  [(']([0, 0, 0])', '<<LINK UPDATE TOKEN 0>>', ']([0, 1, 0])'), (']([0, 1])', '<<LINK UPDATE TOKEN 1>>', ']([0, 0])'), (']([0, 0])', '<<LINK UPDATE TOKEN 2>>', ']([0, 1])')]

需要明确的是,这是工作代码中从控制台打印的实际输入和输出。我正在寻找一种比当前代码更有效地实现相同结果的方法。

OldLinkDataNewLinkData 中的元组具有以下形式:

(Page.Page object at X, String)

代码的目的是生成ReplaceQueue,这是一个新旧值列表,用于替换一系列字符串(分层笔记本中的页面内容)中的子字符串。 ReplaceQueue 的内容必须缩小到内存中相同的Page.Page 对象在OldLinkDataNewLinkData 之间有两个不同的关联“链接”(包装在某些降价语法中的整数索引路径的字符串表示)的情况。

OldLinkDataNewLinkData之间的区别是用ChangedLinks作为set(NewLinkData) - set(OldLinkData)获得的,但是我需要在ReplaceQueue中将更改的字符串相互关联。

LinkUpdateTokenID 整数只是一个中间步骤,因此我可以保证 str.replace 的唯一参数,并且不会在两个对象交换链接字符串时搞砸。

编辑:感谢@ParitoshSingh,以下代码明显更快:

def GetLinkData(self):
    LinkData = {}
    LinkData[id(self.RootPage)] = "](" + self.JSONSerializer.SerializeDataToJSONString(self.RootPage.GetFullIndexPath(), Indent=None) + ")"
    self.AddSubPageLinkData(self.RootPage, LinkData)
    return LinkData

def AddSubPageLinkData(self, CurrentPage, LinkData):
    for SubPage in CurrentPage.SubPages:
        LinkData[id(SubPage)] = "](" + self.JSONSerializer.SerializeDataToJSONString(SubPage.GetFullIndexPath(), Indent=None) + ")"
        self.AddSubPageLinkData(SubPage, LinkData)

def UpdateLinks(self, OldLinkData, NewLinkData):
    ReplaceQueue = []
    for PageID in NewLinkData:
        if PageID in OldLinkData:
            if NewLinkData[PageID] != OldLinkData[PageID]:
                ReplaceStrings = (OldLinkData[PageID], "<<LINK UPDATE TOKEN" + str(PageID) + ">>", NewLinkData[PageID])
                ReplaceQueue.append(ReplaceStrings)
    for ReplaceStrings in ReplaceQueue:
        self.SearchWidgetInst.ReplaceAllInNotebook(SearchText=ReplaceStrings[0], ReplaceText=ReplaceStrings[1], MatchCase=True, DelayTextUpdate=True)
    for ReplaceStrings in ReplaceQueue:
        self.SearchWidgetInst.ReplaceAllInNotebook(SearchText=ReplaceStrings[1], ReplaceText=ReplaceStrings[2], MatchCase=True, DelayTextUpdate=True)

【问题讨论】:

  • 请勿使用is 进行比较。使用==。您能否为 oldlinkdata 和 changedlink 粘贴一两个样本并提供预期的输出?只是让每个人都更容易跟进。
  • 天哪。我刚刚写完一个解决方案。你的对象是可哈希的吗?
  • 你的对象有散列方法吗? Link 这实际上取决于哈希是如何实现的,但理想情况下,哈希不应在对象的生命周期内发生变异,因此任何为同一对象发生变异的部分都不得在其哈希逻辑中。
  • 另外,我承认这个问题变得相当棘手。感谢您发布了一个非常好的问题。
  • 哦,我想我明白了。不要看用户的角度。那你为什么不使用他们的id 作为哈希呢?如果您使用 is 运算符并访问相同的值,则它们的 id 必须匹配。

标签: python python-3.x tuples


【解决方案1】:

编辑:对于遇到类似问题的用户,请参阅下面更通用的解决方案。此编辑仅针对 OP 解决此特定场景。
对于 OP,可以通过使用可散列值来加快查找速度。对于此特定用例,请尝试id() function
警告:应牢记注意事项。 id 函数保证为同时共存的对象产生唯一值,但在 CPython 中只保证链接到内存地址,其他实现可能不同。

OldLinkData = list(zip("123","abc"))
print(OldLinkData)
#[('1', 'a'), ('2', 'b'), ('3', 'c')]

NewLinkData = list(zip('1245','axyz'))
print(NewLinkData)
#[('1', 'a'), ('2', 'x'), ('4', 'y'), ('5', 'z')]


#code:

#Create a key value mapping based on the id of objects. 
OldLinkDataDict = {id(OldLink[0]): OldLink for OldLink in OldLinkData}
#{244392672200: ('1', 'a'), 244392672368: ('2', 'b'), 244420136496: ('3', 'c')}

ReplaceQueue = []
LinkUpdateTokenID = 0
for NewLink in NewLinkData:
    new_id = id(NewLink[0])
    if new_id in OldLinkDataDict: #only consider cases where NewLink exists in OldLinkData 
        if NewLink[1] != OldLinkDataDict[new_id][1]: #only when the value changes (similar to ChangedLinks)
            ReplaceStrings = (OldLinkDataDict[new_id][1],
                              "<<LINK UPDATE TOKEN " + str(LinkUpdateTokenID) + ">>",
                              NewLink[1])
            ReplaceQueue.append(ReplaceStrings)
            LinkUpdateTokenID += 1
print(ReplaceQueue)
#[('b', '<<LINK UPDATE TOKEN 0>>', 'x')]

如果你很好奇,这个演示之所以有效,是因为 python 缓存了小数字的 int 对象。 [-5 to 256]


广义解决方案

如果您的比较对象是可散列的,您可以通过将 OldLinkData 的数据类型更改为字典来获得非常好的收益。 Link to Docs。因为字典键是可散列的,所以字典查找是一个常数时间操作O(1),不需要在字典中迭代。

#Dummy data
OldLinkData = list(zip("123","abc"))
print(OldLinkData)
#[('1', 'a'), ('2', 'b'), ('3', 'c')]

NewLinkData = list(zip('1245','axyz'))
print(NewLinkData)
#[('1', 'a'), ('2', 'x'), ('4', 'y'), ('5', 'z')]


#code:
#ChangedLinks = set(NewLinkData) - set(OldLinkData) #Remove this, set creation requires an iteration anyways   
OldLinkDataDict = dict(OldLinkData)
print(OldLinkDataDict)
#{'1': 'a', '2': 'b', '3': 'c'}

ReplaceQueue = []
LinkUpdateTokenID = 0
for NewLink in NewLinkData:
    if NewLink[0] in OldLinkDataDict: #only consider cases where NewLink exists in OldLinkData 
        if NewLink[1] != OldLinkDataDict[NewLink[0]]: #only when the value changes (similar to ChangedLinks)
            ReplaceStrings = (OldLinkDataDict[NewLink[0]],
                              "<<LINK UPDATE TOKEN " + str(LinkUpdateTokenID) + ">>",
                              NewLink[1])
            ReplaceQueue.append(ReplaceStrings)
            LinkUpdateTokenID += 1
print(ReplaceQueue)
#[('b', '<<LINK UPDATE TOKEN 0>>', 'x')]

一些比较。请注意,理想情况下,您应该只创建一次字典,但我将其包含在时间比较中,以防您无法永久更改 OldLinkData 的数据类型。在这种情况下,您只需要根据需要创建字典进行比较。

OldLinkData = list(zip("123","abc"))
NewLinkData = list(zip('1245','axyz'))

基线

%%timeit
ChangedLinks = set(NewLinkData) - set(OldLinkData)
ReplaceQueue = []
LinkUpdateTokenID = 0
for ChangedLink in ChangedLinks:
    for OldLink in OldLinkData:
        if ChangedLink[0] is OldLink[0]:
            ReplaceStrings = (OldLink[1], "<<LINK UPDATE TOKEN " + str(LinkUpdateTokenID) + ">>", ChangedLink[1])
            ReplaceQueue.append(ReplaceStrings)
    LinkUpdateTokenID += 1

新代码

%%timeit
OldLinkDataDict = dict(OldLinkData)
ReplaceQueue = []
LinkUpdateTokenID = 0
for NewLink in NewLinkData:
    if NewLink[0] in OldLinkDataDict: #only consider cases where NewLink exists in OldLinkData 
        if NewLink[1] != OldLinkDataDict[NewLink[0]]: #only when the value changes (similar to ChangedLinks)
            ReplaceStrings = (OldLinkDataDict[NewLink[0]],
                              "<<LINK UPDATE TOKEN " + str(LinkUpdateTokenID) + ">>",
                              NewLink[1])
            ReplaceQueue.append(ReplaceStrings)
            LinkUpdateTokenID += 1

基线:2.16 µs ± 52.6 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

新代码:1.62 µs ± 98.4 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

【讨论】:

    猜你喜欢
    • 2012-08-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-04-21
    • 2022-09-28
    • 2020-02-22
    • 1970-01-01
    相关资源
    最近更新 更多