在 MySQL 中存储大量文本数据的智能快速方法

Question

我在处理一个包含许多记录的大表时遇到了一个问题（顺便说一下 MySQL）。

我有两种情况。第一个是具有主键和 18 个不同 varchar 字段的单个表。

id	Field1	Field2	Field18
1	abc	abc	abc
2	def	def	def
100	xyz	xyz	xyz

第二种情况是我有一个表格，它以不同的方式组织所有信息：

id_record	field_name	value
1	field1	abc
1	field2	abc
1	field3	abc
2	field1	def
100	field18	xyz

首先我有一个固定的结构（没有灵活性）并且可能有很多空格。在第二种解决方案中，我可以轻松添加新字段，但表格会快速增长。

在一些测试中，我运行的两个测试都存储了大约 200 000 条记录。但随着我的成长（我用 500 000 和 1M 进行测试），在第二种情况下事情变得缓慢。

第二个 id_record 和 field_name 是索引，值是全文。但这并没有太大帮助。

当我尝试合并两个匹配项时，事情变得特别慢：

select f1.id_record from table f1 where f1.field = 'field1' and f1.value like '%abc%' and f1.id_record in (
    select f2.id_record from table f2 where f2.field = 'field18' and f2.value like '%abc%'
);

或

select f1.id_record from table f1, table f2 where f1.field = 'field1' and f2.field = 'field18' and f1.id_record = f2.id_record and f1.value like '%abc%' and f2.value like '%abc%';

关于如何在第二种情况下表现更好的任何想法？或者对于如何更好地构建此类数据有什么新想法？

Answer 1

如果您正好有 18 列并且不需要添加更多，那么第一种是一种非常合理的存储数据的方式。您想要的查询很简单：

select t.*
from t
where t.field like '%abc%' and t.field2 like '%abc%';

不幸的是，此查询需要全表扫描（因为like 中的通配符）。如果不使用全文索引，除非数据非常稀疏，否则这可能是您能做的最好的事情。

第二种结构为上述查询提供了两种可能性。一个使用JOIN：

select f1.id_record
from table f1 join
     table f2 
     on f1.id_record = f2.id_record
where f1.field = 'field1' and f2.field = 'field18' and
      f1.value like '%abc%' and f2.value like '%abc%';

最好的索引是(id_record, field, value)。如果field1 或field18 非常稀疏，这可能会有不错的性能。

我通常推荐group by，对于这种类型的查询：

select f.id_record
from table f
where (f.field = 'field1' and f.value like '%abc%') and
      (f.field = 'field18' and f.value like '%abc%')
group by f.id_record
having count(*) = 2;

但是，我推荐 group by 是因为它的灵活性，而不是特别是因为它的性能。