【问题标题】:Importance of varchar length in MySQL tableMySQL表中varchar长度的重要性
【发布时间】:2010-12-30 01:23:09
【问题描述】:

我有一个动态插入行的 MySQL 表。因为我不能确定字符串的长度并且不希望它们被切断,所以我将它们设为 varchar(200),它通常比我需要的大得多。给 varchar 字段提供比必要长度更长的长度是否会对性能造成很大影响?

【问题讨论】:

  • 具有单个索引 VARCHAR(255) utf8mb4 列的表,大约 150k 行测量为 11.5MB。具有 VARCHAR(48) utf8mb4 索引列和相同数据(最大长度 46 个字符)的表使用了 4.5MB。查询并没有太大的区别,它被索引了。但它确实增加了查询 I/O 和数据库备份之类的东西。

标签: sql mysql performance types


【解决方案1】:

有一个可能的性能影响:在 MySQL 中,临时表和 MEMORY 表将 VARCHAR 列存储为固定长度列,填充到其最大长度。如果您设计的VARCHAR 列比您需要的最大尺寸大得多,您将消耗更多的内存。这会影响缓存效率、排序速度等。

【讨论】:

  • +1。在设置缓冲区以检索行时,我似乎也有一些 JDBC 驱动程序为最大大小分配足够的空间。不用说,当一些小丑刚刚完成 varchar(50000) 时,这会引起很多焦虑和咬牙切齿,以防万一某人的姓氏很大:-)
  • +1。这是一个重要的影响,我相信这是这个问题的真正答案。
  • 这个答案和接受的答案都是理解OP的正确答案所必需的。
  • 其实当这样的MEMORY表被认为太大时,会写入磁盘,导致性能明显下降。
  • 这个答案可以通过指定哪些存储引擎是正确的(我注意到dev.mysql.com/doc/refman/8.0/en/… 表明临时表从 MySQL 8 开始始终是 InnoDB;这会改变什么吗?),并带有链接到支持它提出的声明的文档。从我在 Stack Exchange 上看到的你的输出来看,我相信你在写这篇文章时是对的,但情况可能已经改变,链接既可以为其他人树立一个好榜样,也可以帮助我们其他人找到这种信息为我们自己。
【解决方案2】:

不,如果您存储在该列中的值始终(例如)少于 50 个字符,则将该列声明为 varchar(50) 或 varchar(200) 具有相同的性能。

【讨论】:

  • 不完全正确。查看Bill Karwin的回答
  • 我认为类似的答案应该得到文档、基准或类似内容的支持。
【解决方案3】:

VARCHAR 非常适合您所描述的情况,因为它代表“可变字符” - 根据您的示例,限制为 200 个字符,但可以接受少于 200 个字符 并且 不会填充列的分配大小。

VARCHAR 占用的空间也更少 - 值存储为一个字节或两个字节长度的前缀加上数据。长度前缀表示值中的字节数。如果值需要不超过 255 个字节,则一列使用一个长度字节,如果值可能需要超过 255 个字节,则使用两个长度字节。

有关比较 MySQL CHAR 和 VARCHAR 数据类型的更多信息,请参阅this link。

【讨论】:

  • 每个对 MySQL 存储感兴趣的人(关于 CHAR 和 VARCHAR)都应该阅读这个答案中提到的链接。谢谢!
【解决方案4】:

尺寸就是性能!尺寸越小越好。不是今天或明天,但总有一天,当遇到严重的瓶颈时,无论您采用何种设计,您的桌子都会变大。但是您可以预见到您的设计阶段可能首先出现的一些潜在瓶颈,并尝试延长您的数据库快速而愉快地执行的时间,直到您需要重新考虑您的方案或通过添加更多服务器来水平扩展。

在您的情况下,您可能会遇到许多性能泄漏:使用长 varchar 列几乎不可能进行大连接。这些列的索引是一个真正的杀手。您的磁盘必须存储数据。一个内存页可以容纳更少的行,并且表扫描会慢得多。查询缓存也不太可能在这里为您提供帮助。

您必须问自己:每年可能发生多少次插入?平均长度是多少?我是否真的需要超过 200 个字符,或者我可以在我的应用程序前端捕捉到它,甚至通过通知用户最大长度?我可以将表拆分为一个窄的用于快速索引和扫描的表,另一个用于保存额外的、不太频繁需要的扩展大小的数据吗?我可以将可能的 varchar 数据输入到类别中,然后将一些数据提取到一些较小的(可能是 int 或 bool 类型的列)中,然后以这种方式缩小 varchar 列吗?

你可以在这里做很多事情。最好先进行第一个假设,然后使用实际测量的性能数据逐步重新设计。祝你好运。

【讨论】:

  • +1 用于列出设计选项和探索影响。对我的问题也很有帮助。 stackoverflow.com/q/12083089/181638
  • 设置较大的最大长度是否会对性能产生任何实际影响,或者性能仅由实际大小决定?
【解决方案5】:

性能?不。磁盘存储?是的,但它既便宜又丰富。除非您的数据库增长到 TB 级,否则您可能没问题。

【讨论】:

  • 奇怪的是,这个答案在发布六年后被否决了,而其他答案都没有。显得斗气和小气。这个答案没有什么不正确的。版主?
  • 正如所说,它确实会影响性能。此外,磁盘存储也不是免费的。更宽的列意味着更多的磁盘读/写(并且磁盘访问很慢),以及更宽的索引,这降低了它们的有用性。这两件事都会对性能产生负面影响。也许这在小型数据库上可以忽略不计,但在千兆字节/太字节规模上,它肯定很重要,正如你所说。对于 100 个注册表,这并不重要。
【解决方案6】:

你们中的一些人错误地认为varchar(200) 在磁盘上占用的表大小比varchar(20) 更多。不是这种情况。只有当超过 255 个字符时,mysql 才会使用额外的字节来确定 varchar 字段数据的长度。

【讨论】:

  • 临时表和MEMORY 表并非如此。
  • 任何时候您的选择查询使用临时表(按操作分组和排序等)都会将 varchar(200) 转换为 char(200) 并且性能会受到影响。
【解决方案7】:

性能可能会受到影响 - 但通常不会达到大多数用户会注意到的水平。

当预先知道每个字段的大小时,MySQL 就可以准确地知道每个字段/行之间有多少字节,并且可以在不读取所有数据的情况下向前翻页。使用可变字符会削弱这种优化能力。

Does varchar result in performance hit due to data fragmentation?

更好,char vs varchar。

对于大多数用途,您都可以选择其中一种 - 但有所不同,对于大型数据库,您有理由选择其中一种。

【讨论】:

    【解决方案8】:

    作为 varchar,而不仅仅是 char,大小基于一个内部字段来指示其实际长度和字符串本身。所以使用 varchar(200) 与使用 varchar(150) 并没有太大区别,只是你有可能存储 更多的。

    并且您应该考虑当行增长时更新会发生什么。但如果这种情况很少见,那么你应该没问题。

    【讨论】:

      【解决方案9】:

      根据数据类型名称,这是 VARCHAR 即可变字符数据存储,mysql 引擎本身会根据存储的数据分配正在使用的内存,因此据我所知,不会影响性能。

      【讨论】:

        【解决方案10】:

        您应该尝试像在大多数情况下查看 char 列一样查看 varchar 列,并保守地设置长度。您不必总是将 var 修饰符视为影响您在最大长度上的决策的东西。它确实应该被视为一种性能提示,而不是提供的字符串将具有不同的长度。

        这不是数据库内部必须严格遵循的指令,它可以完全忽略。但是请务必注意这一点,因为有时实现可能会泄漏(例如固定长度和填充),即使它不应该在理想世界中。

        如果您有一个 varchar(255),那么您无法保证在任何情况下它的性能都会与 char(255) 有所不同。

        根据手册中关于存储要求的建议,将其设置为 255、65535 等似乎很容易。这给人的印象是 0(是的,它是一个东西)和 255 之间的任何值都会产生相同的影响。但这并不是完全可以保证的。

        就行存储而言,存储需求确实往往是真实的,或者是体面且成熟的持久存储引擎的良好指标。对于诸如索引之类的事物来说,它并不是那么强的指标。

        有时这是一个困难的问题,一段字符串究竟应该有多长,以便将其设置为您知道它应该在其中的最高界限,但这没有影响。不幸的是,这通常是留给用户解决的问题,而且确实有些武断。你不能真的说永远不要超大字符串,因为可能存在你不确定的情况。

        您应该确保 MySQL 查询在字符串太长而不是截断时抛出错误,这样至少您知道它是否可能因错误发射而太短。调整列的大小以扩大或缩小它们可能是一项昂贵的 DDL 操作,应牢记这一点。

        还应考虑长度和性能发挥作用的字符集。长度指的是这个而不是字节。例如,如果使用 utf8(不是 MB4),那么 varchar(255) 实际上是 varbinary(3 * 255)。如果不运行测试并深入研究源代码/文档,很难知道这样的事情会如何真正发挥作用。因此,长度过长可能会产生意想不到的膨胀影响。这不仅适用于性能。如果有一天您需要将 varchar 列的字符集更改为更大的字符集,那么如果您允许出现本可以避免的无偿长字符串,那么您最终可能会遇到一些限制而没有追索权。这通常是一个相当小众的问题,但它确实出现了,这是最近为 MySQL 引入 utf8mb4 和对密钥长度有限制的索引的一个重大问题。

        如果事实证明 MAX(LENGTH(column)) 始终

        这可能包括:

        • 不同的引擎,有些可能会完全忽略它。
        • 缓冲区大小,例如更新或插入可能必须分配完整的 255(虽然我没有检查源代码来证明这一点,但这只是一个假设)。
        • 索引,如果您尝试从大量 varchar(255) 列中创建复合键,这将立即显而易见。
        • 中间表和可能的结果集。鉴于事务的工作方式,某些东西可能并不总是可以使用列中字符串的实际最大长度而不是定义的限制。
        • 内部预测优化可能会将最大长度作为输入。
        • 数据库实现版本的变化。

        根据经验,不管是否存在性能问题,varchar 确实不需要比它需要的更长,所以我建议尽可能坚持下去。更加努力地对数据大小进行抽样、强制实施真正的限制或通过询问/研究找出真正的限制是理想的方法。

        如果你不能,如果你想在有疑问的情况下做一些事情,比如 varchar(255),那么我建议你做科学。这可能包括复制表,减小 var char 列的大小,然后将数据从原始数据复制到其中并查看索引/行数据的大小(也索引列,也可以尝试将其作为主键InnoDB 中的行为可能会有所不同,因为行是按主键排序的)。至少通过这种方式,您会知道您是否对 IO 产生了影响,这往往是最敏感的瓶颈之一。测试内存使用比较困难,很难详尽地测试。我建议测试潜在的最坏情况(内存中存在大量中间结果的查询,检查大型临时表的解释等)。

        如果您知道表中不会有很多行,则不会将该列用于连接、索引(尤其是复合索引、唯一索引)等,那么您很可能不会遇到很多问题。

        【讨论】:

          猜你喜欢
          • 2013-02-15
          • 2011-12-17
          • 1970-01-01
          • 2019-07-16
          • 2011-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2011-05-31
          相关资源
          最近更新 更多