【问题标题】:Best primary key for storing URLs存储 URL 的最佳主键
【发布时间】:2010-09-17 12:43:56
【问题描述】:

哪个是存储网站地址和页面 URL 的最佳主键?

为了避免使用自动增量 ID(它与数据没有真正的关联),我设计了使用 URL 的 SHA1 签名作为主键的架构。

这种方法在很多方面都很有用:例如,我不需要从数据库中读取 last_id,因此我可以准备所有表更新来计算键并在单个事务中进行真正的更新。没有违反约束。

无论如何,我读了两本书告诉我我错了。在“高性能 MySQL”中,据说随机键对数据库优化器不利。此外,在 Joe Celko 的每一本书中,他都说主键应该是数据的一部分。

问题是:URL 的自然键是...... URL 本身。事实是,如果一个站点很短(www.something.com),则对 am URL 没有强加限制(参见http://www.boutell.com/newfaq/misc/urllength.html)。

考虑到我必须存储(并使用)数百万个它们。

那么,哪个是最好的钥匙呢?自动增量 ID、URL、URL 哈希?

【问题讨论】:

  • 我认为这在很大程度上取决于您对这些 URL 所做的其他事情、访问模式等。使用 SHA1 应该可以避免冲突,其中较短的哈希函数(例如 CRC32)显然是不合适的,但仍有可能发生碰撞,你只是不走运。

标签: mysql database-design primary-key


【解决方案1】:

您需要一个自动递增的数字主键。当您需要传递 id 或连接其他表时(例如,URL 的可选属性),您需要一些小的数字。

至于您想要哪些其他列和索引,一如既往地取决于您将如何使用它们。

存储每个 URL 的哈希值的列对于几乎所有使用大量 URL 的应用程序来说都是一个绝妙的主意。它使通过全文选择 URL 的速度尽可能快。第二个优点是,如果您将该列设为 UNIQUE,则无需担心使存储实际 URL 的列唯一,并且您可以使用 REPLACE INTO 和 INSERT IGNORE 作为简单、快速的原子写入操作。

我要补充一点,使用 MySQL 的内置 MD5() 函数就可以达到这个目的。它唯一的缺点是专门的攻击者可以强制碰撞,我很确定你不在乎。例如,使用内置函数可以更轻松地进行某些类型的连接。通过网络传递完整的 URL 可能会慢一点(“SELECT url FROM urls WHERE hash=MD5('verylongurl')”而不是“WHERE hash='32charhexstring'”),但您可以选择如果你愿意,可以这样做。除非你能想出一个 MD5() 会让你失望的具体场景,否则请随意使用它。

难题是您是否需要以及如何以全文以外的方式查找网址:例如,您是否希望在任何“bar.com”上查找所有以“/foo”开头的网址“ 主持人?虽然 "LIKE '%bar.com%/foo%'" 可以在测试中工作,但它会在规模上惨遭失败。如果您的需求包括类似的东西,您可以想出创造性的方法来生成针对您需要的数据类型的非唯一索引......对于初学者来说,也许是 domain_name 列。几乎可以肯定,您必须从您的应用程序中填充这些列(触发器和存储过程在这里比它们的价值要麻烦得多,特别是如果您关心性能 - 不要打扰)。

好消息是关系数据库对于这类事情非常灵活。您可以随时添加新列并稍后填充它们。我建议初学者:int unsigned auto_increment 主键、唯一哈希 char(32) 和(假设 64K 字符就足够了)文本 url。

【讨论】:

  • +1 - 拥有更广泛的主键会对性能产生严重影响,SQL 团队对此进行了详细记录,但大多数开发人员大多忽略了这一点。
  • 为什么要将哈希值存储为十六进制而不是十进制形式?
【解决方案2】:

大概您在谈论整个 URL,而不仅仅是主机名,包括 CGI 参数和其他内容。

对 URL 进行哈希处理的 SHA-1 使得所有的键都变长了,并且使得解决问题变得相当模糊。我不得不在哈希上使用一次索引来隐藏一些机密数据,同时保持连接两个表的能力,而且性能很差。

有两种可能的方法。一种是天真而明显的一种;它实际上在 mySQL 中运行良好。它具有简单等优点,并且能够使用 URL LIKE 'whatever%' 进行高效搜索。

但是,如果您有很多 URL 集中在几个域中...例如 ....

http://stackoverflow.com/questions/3735390/best-primary-key-for-storing-urls
http://stackoverflow.com/questions/3735391/how-to-add-a-c-compiler-flag-to-extconf-rb

等,您正在查看仅在最后一个字符中变化的索引。在这种情况下,您可能会考虑存储和索引 URL,它们的字符顺序颠倒了。这可能会导致更有效地访问索引。

(Oracle 表服务器产品恰好有一个内置的方法,即所谓的反向索引。)

如果我是你,我会避免使用自动增量键,除非你必须加入两个以上的表 ON TABLE_A.URL = TABLE_B.URL 或其他具有这种意义的加入条件。

【讨论】:

  • 提高哈希联接性能的一种方法是添加第二个索引列,该列具有更“集中”的哈希数据版本。与 CHAR(32) 相比,具有 MD5 前 64 位的 BIGINT 可以更有效地被索引。碰撞将变得更加普遍,也就是说,极其罕见。您的 WHERE 可以加入两列(“WHERE t1.inthash=t2.inthash AND t1.charhash=t2.charhash”),并且在 BIGINT 冲突的极少数情况下,完整的哈希将确保您仍然得到正确的答案。
【解决方案3】:

取决于您如何使用该表。如果您主要选择WHERE url='<url>',那么有一个单列表就可以了。如果您可以使用自动增量 id 来识别应用中所有位置的 URL,则使用自动增量

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-08-03
    • 1970-01-01
    • 2015-10-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-09-24
    • 1970-01-01
    相关资源
    最近更新 更多