类似 % 的 SQL Server 性能提示

Question

我有一个包含 5-1000 万条记录的表，其中包含 2 个字段

示例数据

Row  Field1   Field2
------------------
1    0712334  072342344
2    06344534 083453454
3    06344534 0845645565

给定 2 个变量

variable1 : 0634453445645
variable2 : 08345345456756

我需要能够尽快查询表以获得最佳匹配

上面的例子会产生 1 条记录（例如第 2 行）

查询数据库匹配的最快方法是什么？

注意：数据和变量总是采用这种格式（即总是一个数字，可能有也可能没有前导零，并且字段不是唯一的，但是两者的组合将是）

我最初的想法是做这样的事情

Select blah where Field1 + "%" like variable1 and  Field2 + "%" like variable2

如果不正确，请原谅我的伪代码，因为这更像是一个事实调查任务。不过我想我在球场上。

注意：我认为任何索引都无济于事，但我猜基于内存的表会加快速度。

谁能想到解决问题的更好方法？

Answer 1

您可以通过像这样的查询在Field1 上的索引上查找计划。

declare @V1 varchar(20) = '0634453445645'
declare @V2 varchar(20) = '08345345456756'

select Field1,
       Field2
from YourTable
where Field1 like left(@V1, 4) + '%' and
      @V1 like Field1 + '%' and
      @V2 like Field2 + '%'

它对Field1 的前四个字符进行范围查找，并在残差谓词中使用Field1 和Field2 的完整比较。

Answer 2

没有性能提示。就这么简单。

%somethin% 是表扫描，由于开头 %，未使用索引。全文索引不起作用，因为它不是您要查找的全文，而是单词的一部分。

获得更快的机器来处理表扫描和非规范化是您唯一能做的事情。在一台像样的计算机上，5-1000 万行应该足够快。不需要基于内存的表 - 只需足够的 RAM 来缓存该表。

差不多就是这样。要么找到摆脱初始 % 的方法，要么让硬件（主要是内存）足够快来处理这个问题。

或者 - 在 sql server 之外处理它。将 5-10 百万行加载到搜索服务中并使用更好的数据结构。通用的 SQL 必须做出妥协。但同样，部分匹配会杀死几乎大多数方法。

Answer 3

Postgres 有三元组索引http://www.postgresql.org/docs/current/interactive/pgtrgm.html

也许 SQL Server 有类似的东西？

Answer 4

“Field1”和“Field2”列中最短的长度是多少？将此号码称为“N”。

然后创建一个 select 语句，它要求从长度为 N 的第一个字符开始到每个变量的长度的所有子字符串。示例（例如，N=10）

select distinct * from myTable 
where Field1 in ('0634453445','06344534456','063445344564', '0634453445645')
  and Field2 in ('0834534545','08345345456','083453454567', '0834534545675','08345345456756')

编写一个为您创建查询的小脚本。当然还有很多需要优化的地方，但这需要（恕我直言）改变你的表结构，我可以想象这是你不想要的。至少你可以快速尝试一下。

此外，当您在 SSMS 中尝试此方法时，您应该包含查询计划。查询计划将为您提供如何组织索引的良好提示。