【问题标题】:Leads to find tables correlation导致查找表相关性
【发布时间】:2011-11-04 12:38:10
【问题描述】:

有这两张表:

TableA
ID  Opt1    Opt2    Type
1   A       Z       10
2   B       Y       20
3   C       Z       30
4   C       K       40

和

TableB
ID  Opt1    Type
1   Z       57
2   Z       99
3   X       3000
4   Z       3000

找到这两个表之间的任意关系的好算法是什么?在这个例子中,我希望它找到 TableA 中包含 Op1 = C 的记录和 TableB 中包含 Type = 3000 的记录之间的明显关系。

我可以以某种方式考虑先验,但似乎不太实用。你们说什么?

谢谢。

【问题讨论】:

  • 定义太差以至于没有意义。问足够多的人,对于任何两个不同的对象,你会发现一些人坚持认为它们之间有很强的关系。要么说出你对哪些数学关系感兴趣,要么只对 is-correlated 问题的每个实例发出“是”。
  • @Patrick87 我敢对你的评论说同样的话。我可以尝试改进这个问题,但非建设性的喋喋不休无助于前进。根据我对先验的了解,我试图让这个例子尽可能简单。即找到具有统计意义的关系(在这种情况下C->3000 比任何事情都更重要)。如果还有其他我可以澄清或更具体的内容,请在此处提问,或者如果您有可能的答案,请在下面发布。谢谢。
  • @fillipo:我无意无用。我只是指出关系 C->3000 既不明显也不明显重要。也许您要求的是:给定两个表,确定 table1 中是否存在 c1 列和 table2 中的 c2 列,使得 c1 和 c2 相同,直到重命名元素。在这种情况下,table1 中的“Opt1”列和 table2 中的“Type”列可能确实相关。如果这是您的目标,我很乐意将其正式化并提出一两个算法。没有难过的感觉。
  • @Patrick87 谢谢你,这里也是。是的,这似乎是一个更具体的描述。但是,我不想只寻找直接的等价物,还要寻找基于“频率”或“置信度”之类的分析的“候选者”。也许正确的文本是“测量 t1.cx(一列或 table1 列的组合)是否接近 t2.cx(一列或 table2 列的组合)” - 这更有意义还是我让它变得更糟?
  • 不,你做得更好。你想要的是近似的列同构......所以列在元素重命名之前是相同的,可能有一些例外。请参阅下面的答案,以判断这是否朝着正确的方向发展。

标签: algorithm correlation apriori


【解决方案1】:

这听起来像是一个关系数据挖掘问题。我建议尝试 Ross Quinlan 的 FOIL:http://www.rulequest.com/Personal/

【讨论】:

    【解决方案2】:

    在伪代码中,一个简单的实现可能如下所示:

      1. for each column c1 in table1
      2.    for each column c2 in table2
      3.      if approximately_isomorphic(c1, c2) then
      4.         emit (c1, c2)
    
      approximately_isomorphic(c1, c2)
      1. hmap = hash()
      2. for i = 1 to min(|c1|, |c2|) do
      3.    hmap[c1[i]] = c2[i]
      4. if |hmap| - unique_count(c1) < error_margin then return true
      5. else then return false
    

    这个想法是这样的:对每列的元素与其他列的元素进行成对比较。对于每一对列,构造一个连接两列对应元素的哈希映射。如果哈希映射包含与第一列的唯一元素相同数量的链接,那么你有一个完美的同构;如果你有更多,你有一个近同构;如果你有更多,直到第一列中的元素数量,你有可能不代表任何相关性。

    输入示例:

      ID & anything  : perfect isomorphism since all of ID are unique
    
      Opt1 & ID      : 4 mappings and 3 unique values; not a perfect
                      isomorphism, but not too far away.
      Opt1 & Opt1    : ditto above
      Opt1 & Type    : 3 mappings & 3 unique values, perfect isomorphism
    
      Opt2 & ID      : 4 mappings & 3 unique values, not a perfect
                      isomorphism, but not too far away
      Opt2 & Opt2    : ditto above
      Opt2 & Type    : ditto above
    
      Type & anything: perfect isomorphism since all of ID are unique
    

    为了获得最佳结果,您可以通过两种方式执行此过程 - 即将 table1 与 table2 进行比较,然后将 table2 与 table1 进行比较 - 以查找双射映射。否则,您可能会被琐碎的情况甩掉......第一个中的所有值都不同(完美同构)或第二个中的所有值都相同(完美同构)。另请注意,此技术提供了一种对列的相似或不同程度进行排名或衡量的方法。

    这是朝着正确的方向发展吗?顺便说一句,这是 O(ijk),其中 table1 有 i 列,table 2 有 j 列,每列有 k 个元素。理论上,如果您可以在不进行成对比较的情况下找到相关性,那么您可以为一种方法做的最好的事情是 O(ik + jk)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2022-01-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-05-08
      • 2018-07-11
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多