【问题标题】:How can I make a nested query more efficient?如何使嵌套查询更有效?
【发布时间】:2013-08-23 11:19:48
【问题描述】:

假设我有 4 张桌子'A(id, type, protocol), B(id, A_id, info), C(id, B_id, details) and D(id, C_id, port_info)。表A 和表B 通过表A 中的外键id 和表B 中的A_id 连接。同样,表B和表C通过表B中的外键id和表C中的B_id连接起来,同理,表C和表D是也已连接。

现在,我想从表D 中获取port_info,而不是表A 中的所有protocols。 我知道一种时间复杂度为O(n^4) 的方法,我目前正在使用该方法。方法如下:

db = MySQLdb.connect(host="localhost", user="root", passwd="", db="mydb")
cur = db.cursor() 
cur.execute("SELECT * FROM A")

A_results = cur.fetchall()
for A_row in A_results : 
    id      = A_row[0]
    cur.execute("SELECT * FROM B WHERE A_id = %d " % (id ))
    B_results = cur.fetchall()

    for B_row in B_results : 
        id      = B_row[0]
        cur.execute("SELECT * FROM C WHERE B_id = %d " % (id ))
        c_results = cur.fetchall()

        for C_row in C_results : 
            id      = C_row[0]
            cur.execute("SELECT * FROM D WHERE C_id = %d " % (id ))
            D_results = cur.fetchall()

            for D_row in D_results : 
                print "Port = " + str(port)

但是这个方法需要O(n^4),那么有没有关于time complexity的有效方法可以解决这个问题。

我们非常感谢您的建议。

【问题讨论】:

  • MySQL(或任何 SQL)101。见 JOIN。

标签: python mysql database mysql-python time-complexity


【解决方案1】:

在单个 JOIN 查询中执行它,让 MySQL 在处理大型数据集(毕竟,这是数据库最擅长的)时进行必要的优化,为您的应用程序提供单个结果集。查询如下所示:

SELECT A.protocol, D.port_info
FROM A JOIN B ON A.id = B.A_id
       JOIN C ON B.id = C.B_id
       JOIN D ON C.id = D.C_id
ORDER BY protocol

...然后使用光标浏览该单个结果集。

【讨论】:

  • 这个时间复杂度是多少?
  • O(n) (在 Python 级别),因为您在单个返回的结果集上使用一个循环而不是四个。如果这个问题是出于学术目的,您可能还需要考虑 MySQL 对此类连接的内部处理以及 B 树的工作方式。如果不是为了学术目的而是为了实际工作,那么大 O 表示法远没有嵌套 I/O 操作对 DB 的影响那么重要。
  • 所以,换句话说,你的意思是说我不应该在实时工作时使用 JOIN 操作?
  • 反过来。如果您可以使用JOIN 在单个查询中运行它,则不应使用嵌套应用程序代码来发出基于外部代码的查询。 I/O 是阻塞因素,而不是查询大小,因此如果您在循环中运行查询,您必须处理设置和执行每个查询的 I/O 开销。换句话说,答案中的解决方案实际上可能比问题中的解决方案快几个数量级,这不是由于 O(n^4) 算法的 CPU 成本,而是由于运行嵌套的 I/O 成本查询。
猜你喜欢
  • 2018-02-18
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-05-21
  • 2020-09-24
  • 2016-05-05
相关资源
最近更新 更多