MySql - WAMP - Huge Table 非常慢（2000 万行）

Question

所以我发了this！昨天得到了一个完美的答案，需要先运行这段代码：ALTER TABLE mytable AUTO_INCREMENT=10000001;

我运行了几次，但在 WAMP 几个小时后无法正常工作后重新启动。运行一夜（12小时）后，代码仍然没有运行。

我想知道我的数据库表大小是否超出了 mysql 或我的计算机或两者的限制。

但是，我暗中怀疑正确的索引或其他一些因素可能会极大地影响我的表现。我知道 2000 万行是很多行，但是太多了吗？

我对索引了解不多，只是它们很重要。我尝试将它们添加到名称和状态字段中，我相信我成功了。

顺便说一句，我正在尝试添加一个唯一的 ID 字段，这就是我昨天的帖子的全部内容。

那么，问题是：2000万行是否超出了MySql的范围？如果没有，我是否缺少索引或其他有助于更好地处理这 2000 万行的设置？我可以在所有列上放置索引并使其超快吗？

一如既往，提前谢谢...

以下是规格：

我的电脑是 XP，运行 WAMPSERVER、Win32 NTFS、Intel Duo Core、T9300 @ 2.50GHz、1.17 GHz、1.98 GB 或 RAM

数据库：1 个表，2000 万行 表的大小是： 数据 4.4 Gigs，索引 1.3 Gigs，总计 5.8 Gigs

在“BUSINESS NAME”和“STATE”字段上设置索引

表格字段是这样的：

`BUSINESS NAME` TEXT NOT NULL, 
`ADDRESS` TEXT NOT NULL, 
`CITY` TEXT NOT NULL, 
`STATE` TEXT NOT NULL, 
`ZIP CODE` TEXT NOT NULL, 
`COUNTY` TEXT NOT NULL, 
`WEB ADDRESS` TEXT NOT NULL, 
`PHONE NUMBER` TEXT NOT NULL, 
`FAX NUMBER` TEXT NOT NULL, 
`CONTACT NAME` TEXT NOT NULL, 
`TITLE` TEXT NOT NULL, 
`GENDER` TEXT NOT NULL, 
`EMPLOYEE` TEXT NOT NULL, 
`SALES` TEXT NOT NULL, 
`MAJOR DIVISION DESCRIPTION` TEXT NOT NULL, 
`SIC 2 CODE DESCRIPTION` TEXT NOT NULL, 
`SIC 4 CODE` TEXT NOT NULL, 
`SIC 4 CODE DESCRIPTION` TEXT NOT NULL 

Answer 1

一些答案​​：

• 2000 万行完全在 MySQL 的能力范围内。我在一个数据库中工作，该数据库的一个表中有超过 5 亿行。重组一张表可能需要几个小时，但普通查询只要有索引辅助就不是问题。

• 您的笔记本电脑已经过时，无法用作大型数据库服务器。进行表重组需要很长时间。低内存量和通常较慢的笔记本电脑磁盘可能会限制您。您可能也在使用 MySQL 的默认设置，这些设置是为在非常旧的计算机上工作而设计的。

• 我不建议对 every 列使用 TEXT 数据类型。大多数这些列没有理由需要TEXT。

• 不要在每一列上都创建索引，特别是如果你坚持使用TEXT 数据类型。除非您定义前缀索引，否则您甚至无法索引TEXT 列。一般来说，选择索引来支持特定的查询。

基于上述内容，您可能还有许多其他问题，但在一篇 StackOverflow 帖子中要涵盖的内容太多了。如果您要使用数据库，则可能需要接受培训或阅读书籍。
我推荐High Performance MySQL, 2nd Edition。

---

您的后续问题：

对于 MySQL 调优，这是一个很好的起点：http://www.mysqlperformanceblog.com/2006/09/29/what-to-tune-in-mysql-server-after-installation/

许多 ALTER TABLE 操作会导致表重组，这意味着基本上锁定表，复制整个表并应用更改，然后重命名新表和旧表并删除旧表。如果表非常大，这可能需要很长时间。

TEXT 数据类型最多可以存储 64KB，这对于电话号码或状态来说是多余的。我会使用 CHAR(10) 作为典型的美国电话号码。我会为美国的一个州使用 CHAR(2)。通常，请使用最紧凑、最节省的数据类型，以支持给定列中所需的数据范围。

Answer 2

这将需要很长时间，因为您只有 2GB 的 RAM 和 6GB 的数据/索引，并且会强制在 RAM 和磁盘之间进行大量的换入/换出。不过，您对此无能为力。

您可以尝试批量运行。

创建一个单独的空表，其中包含 auto_increment 列。然后一次插入一定数量的记录（例如，一次插入 1 个状态）。这可能有助于它更快地运行，因为您应该能够完全在内存中处理这些较小的数据集，而不是分页到磁盘。

如果它也在 dba.stackexchange.com 上，您可能会得到更好的响应。

Answer 3

我相信硬件很好，但您需要更好地节省资源。

数据库结构优化！

• 不要使用TEXT！
• 对于电话号码，请使用bigint unsigned。任何符号或字母都必须经过解析和转换。
• 对于任何其他字母数字列，请使用例如varchar([32-256])。
• 邮编当然是mediumint unsigned。
• 性别应该是enum('Male','Female')
• 销售额可以是int unsigned
• 状态应该是enum('Alaska',...)
• 国家应该是enum('Albania',...)

构建大型索引时，最快的方法是创建一个新表并执行INSERT INTO ... SELECT FROM ... 而不是ALTER TABLE ...。

将 State 和 Country 字段更改为 enum 将大大减少您的索引大小。