制作电商网站的搜索引擎时，如何处理有空格的搜索查询？答案

【问题标题】：How to deal with search queries which have spaces in the wrong place while making a search engine of an e-commerce website?制作电商网站的搜索引擎时，如何处理有空格的搜索查询？
【发布时间】：2016-09-25 22:08:19
【问题描述】：

假设我在网站上有一个条目 pepe jeans。用户搜索pepejeans。我目前正在使用 tf-idf 和余弦相似度来返回最显着的结果，但由于内容很大，我将内存使用量保持在尽可能小。那么我可以用什么来解决这个问题呢？一种解决方案是对内容的所有 ngram 进行带空格和不带空格的记录。

另一个例子- 如果用户搜索耐克鞋。现在耐克是一个品牌，但耐克鞋不是一个品牌。如果搜索查询是耐克鞋，那么它会返回耐克作为品牌。这里的内容是指品牌名称。我正在尝试从查询中识别品牌名称

【问题讨论】：

algorithms.tutorialhorizon.com/the-word-break-problem

标签： java search nlp search-engine tf-idf

【解决方案1】：

典型的解决方案是在执行查询之前进行查询重写。在查询重写期间，您可以将用户提供的查询转换为更适合您的检索系统的表单。这可能涉及标记化、词干提取、拼写检查和其他类型的重写。

有关概述，请参阅此博客文章https://hughewilliams.com/2012/03/19/query-rewriting-in-search-engines/

【讨论】：