【问题标题】:Performance of case-insensitive search in Oracle databaseOracle 数据库中不区分大小写搜索的性能
【发布时间】:2011-11-20 03:43:17
【问题描述】:

我的数据库背景位于 MS SQL Server 端,其中索引和约束中的文本比较不区分大小写(至少默认情况下)。因此,一旦将值“abc”分配给唯一列,就不能存储第二个值“ABC”,如果搜索“ABC”,SQL Server 将找到“abc”。

Oracle 的情况有所不同,因此即使在文本列上使用唯一索引,您也可以在其中存储“abc”和“ABC”,如果您搜索“AbC”,您将不会得到任何结果。

在 Oracle 10gR2 之前的 AFAIK 无法绕过它,现在可以在每个 sesson 中设置不敏感的比较,恕我直言这不是一个好的解决方案,因为一切都取决于程序员的纪律。

但是区分大小写的查找最糟糕的是那些将所有搜索重写为UPPER(some_column)=UPPER(some_text)(这是许多讨论线程推荐的)的人即使在 some_column 上有索引时也会以表扫描结束。性能影响是灾难性的:我刚刚在一个有 50 万行的表上测试了一个简单的搜索,并且使用 UPPER 函数调用的搜索比仅使用列标识符的搜索花费了 20 倍的时间,因此确认在执行函数时没有使用索引- 基于搜索。

在 Oracle 数据库中进行不区分大小写搜索的最标准技术是否真的是在性能不佳的情况下将 UPPER/LOWER 函数应用于搜索元素?还是有更优雅的方法来解决这个问题?

【问题讨论】:

  • Tbone,你在绕圈子,这家伙说很难执行“清理”标准,我想它有点晚了千兆/兆字节的数据。您并没有真正为问题提供切实可行的解决方案(也许对于全新的系统)。我同意他的观点,不区分大小写的搜索是一个非常基本的功能,处理得不好。设置nls_comp 和nls_sor 是一种方法,以及使用相同nls_sort 值的关联索引。但是,在 11g 之前,它只能与相等运算符一起使用,而不能与 LIKE 一起使用。 Oracle 文本索引是另一种方法。它确实

标签: database oracle search case-insensitive


【解决方案1】:

我会说根据贵公司的业务逻辑创建“干净”字段以清理这些字段(例如,公司名称或地址将围绕家具字词、usps 规则等进行大量清理逻辑,而不是提及第三方清洁程序(如果使用)。

因此,对于重要的搜索字段,请同时保留原始(不干净)和干净版本。如果您的清理逻辑随时间发生显着变化,您可以返回并根据原始值重新清理。您的搜索(假设您没有使用 Oracle Text 或 Lucene 之类的模糊逻辑引擎)将达到干净的值。

对于所有其他字段(不值得单独的干净版本),我通常会执行最低级别的清理。大写、修剪、去除控制字符、将多个空格减少到 1 个空格等都是一组基本清理程序的一部分。这些通常在加载数据之前完成(在数据构建程序中)。

所以,想出一套数据标准并坚持下去,但我不会只是在数据库中扔任何 ole junk。尽量不要将 db 视为数据的倾倒场,您肯定会得到更好的结果。

【讨论】:

  • 虽然我同意每个应用程序都应该注意正确的数据格式,但我也认为数据库可以更好地支持某些广泛使用的操作,例如不区分大小写的搜索。我正在处理的数据库属于一家大型企业,其中对数据管理的控制权不是一方面。因此,可以在数据库级别配置的任何内容(键、约束等)都应该在那里完成。而且我发现仅仅因为搜索而保留两个版本的文本字段表明缺乏对此类功能的内置数据库支持。
  • 如果这是可以实现的,那就太好了。我从各种项目中获得的经验是,在团队分布在不同地点并使用不同语言和平台的大型组织中,很难执行高度重视纪律的标准。如果有 10 个部门可以直接访问数据库,那么迟早会有人违反规则,除非它们以约束的形式实施。所以约束离数据库越近,数据一致性就越好。
  • db 级别的约束很好,但不能单独解决公司的数据清理策略。如果您甚至不能依靠您的数据来遵守基本的清理规则(如大写字母),那么控制字符或与验证 url、电子邮件或电话号码等数据相关的其他问题呢?你的公司应该有一个以一致和预期的方式清理和/或格式化数据的策略是我的观点(无论是在 db 包中还是在外部服务中)。否则,您可能会将您的数据库变成用户(应用程序等)以后必须处理的“东西”的大垃圾场。
【解决方案2】:

是的,使用UPPER(some_column)=UPPER(some_text) 确实是最好的方法,但是您可以在UPPER(some_column) 上创建索引。那应该可以缓解问题。

【讨论】:

  • 如果我在 UPPER(column) 上创建所有索引,它会强制执行: 1. 如果我尝试使用不同的大小写创建另一个列值,则违反唯一约束? 2. 我可以在搜索中使用 some_column=UPPER(some_text) 而不是 UPPER(some_column)=UPPER(some_text),这样会提高性能吗?
  • 回答我自己的问题:对他们俩都是。
  • @Vagif - 如果您在 UPPER(some_column) 上创建索引并在 SOME_COLUMN 上搜索而不使用函数调用,则不会使用基于函数的索引,您将恢复到全表扫描。我敢打赌,您的测试使用旧索引进行搜索,使用新的基于函数的索引来强制唯一性。您几乎肯定不希望在同一列上同时拥有常规索引和基于函数的索引。
  • 你说得对,贾斯汀,我仍然需要使用表达式 UPPER(column)=UPPER(value) 以避免表扫描,但至少如果我对值和大写都有索引价值表现不会受到影响。
猜你喜欢
  • 2011-07-20
  • 1970-01-01
  • 2016-08-03
  • 2012-01-31
  • 2017-10-14
  • 2011-08-10
  • 1970-01-01
  • 2016-07-06
相关资源
最近更新 更多