【问题标题】:Redis autocompleteRedis 自动完成
【发布时间】:2010-12-29 19:17:13
【问题描述】:

如何使用 redis 实现自动完成功能?

比如说我有一个数组["alfred","joel","jeff","addick"]。当我输入a 时,我得到["alfred", "addick"]

我希望你明白这一点。如何有效地使用 redis 命令实现这一点(如果可能,但我认为是这样)。如果我能获得一些可以通过 telnet 尝试的简单命令来模拟这种行为,那就太好了。

谢谢

P.S: 祝大家圣诞快乐 :)

【问题讨论】:

    标签: autocomplete redis


    【解决方案1】:

    如果您正在处理大型数据集,我建议您考虑将其作为一个 trie 来实现。我已经拼凑了一小部分可以做到这一点的 Ruby:

        require 'rubygems'
        require 'redis'
        
        class RedisTrie
          TERMINAL = '+'
        
          def initialize(prefix)
            @prefix = prefix
            @r = Redis.new
          end
        
          def add_word(word)
            w = word.gsub(/[^a-zA-Z0-9_-]/, '')
            key = "#{@prefix}:"
        
            w.each_char do |c|
              @r.zset_add key, c.bytes.first, c
              key += c
            end
        
            @r.zset_add key, 0, TERMINAL
          end
        
          def add_words(*words)
            words.flatten.compact.each {|word| add_word word}
          end
        
          def suggest(text)
            @r.zset_range("#{@prefix}:#{text}", 0, -1).map do |c|
              (c == TERMINAL) ? text : suggest(text + c)
            end.flatten
          end
        end
        
        rt = RedisTrie.new('trie')
        
        rt.add_words %w( apple automobile carwash oil-change cranky five ruthie axe auto )
        
        p rt.suggest(ARGV.shift.to_s)
    

    例如:

        $ ruby RedisTrie.rb
        ["apple", "auto", "automobile", "axe", "carwash", "cranky", "five", "oil-change", "ruthie"]
        $ ruby RedisTrie.rb a
        ["apple", "auto", "automobile", "axe"]
        $ ruby RedisTrie.rb au
        ["auto", "automobile"]
        $ ruby RedisTrie.rb aux
        []
    

    Wikipedia's entry on Tries阅读更多关于尝试的信息。

    您肯定希望优化您的建议方法,使其不返回所有值,而只返回它找到的第一个 X 值。它会破坏迭代整个数据结构的目的。

    【讨论】:

    • 嗨,亚历克斯,感谢您的回答。我的下一个问题是这会有很好的性能还是你会以不同的方式实现它。我希望它能够很好地扩展。谢谢
    • add_word 方法与我部署的方法非常接近。如果要插入更复杂的单词,您可能需要调整正则表达式。我可能会在所有字符串进入时将它们小写,具体取决于它的使用方式。正如我在帖子中提到的,我还会调整建议,一旦得到 X 结果就停止。当你传递一个空白字符串时,你不希望它处理整个 Trie。
    • 我认为上面的ruby代码使用的是旧版本的redis。新版本的命令应该是“zadd”和“zrange”,而不是“zset_add”和“zset_range”。
    【解决方案2】:

    我在阅读 Simon Willison 令人印象深刻的 Redis tutorial 时也发现了这个 sn-p。

    Solution:

    你好,麦克斯,

    KEYS 不是最佳选择 你可以做的就是使用 排序集。你想要的是转 的前 4 或 5 个字符 字符串转换为整数(您可以 将每个字符想象为 a 的一个数字 例如基数 256 数字,但是 有更好的代表性)和 将所有用户名添加到排序中 设置。

    然后使用 ZRANGEBYSCORE 你可以得到 给定之间的所有元素 范围。

    这种方法更具可扩展性,因为 这是一个 O(log(N)) 的事情。

    我在我的非常 缓慢发展的 Redis 书...

    干杯,萨尔瓦多

    【讨论】:

      【解决方案3】:

      这是一个简单的 PHP 算法,用于使用 redis 进行字母自动完成:

      function getNextChar($char) {
          $char++;
          if(strlen($char) > 1) { $char--; }
          return $char;
      }
      
      function createDictionary($redis, $key, $wordList) {
          if(!$redis->exists($key)) {
              foreach($wordList as $word) {
                  $redis->zadd($key, 0, $word);
              }
          }
      }
      
      function getLexicalAutocomplete($redis, $dictionaryKey, $input) {
          $inputNext = substr($input, 0, -1) . getNextChar(substr($input, -1)); //ab -> ac
      
          $redis->zadd($dictionaryKey, 0, $input);
          $redis->zadd($dictionaryKey, 0, $inputNext);
      
          $rangeStart = $redis->zrank($dictionaryKey, $input)+1;
          $rangeEnd = $redis->zrank($dictionaryKey, $inputNext)-1;
      
          $autocompleteResults = $redis->zrange($dictionaryKey, $rangeStart, $rangeEnd);
      
          $redis->zrem($dictionaryKey, $input);
          $redis->zrem($dictionaryKey, $inputNext);
      
          return $autocompleteResults;
      }
      
      $redis = new Redis();
      $redis->connect('', 0); //Your redis server ip/port goes here
      
      createDictionary($redis, "dict", array("alfred", "joel", "jeff", "addick"));
      $result = getLexicalAutocomplete($redis, "dict", $argv[1]);
      
      echo json_encode($result);
      

      基于 Salvatore 的文章 Auto Complete with Redis,除了我需要生成一个额外的自动完成字典,代价是一点点性能损失(额外的几个 zadds 和 zrems),但在大多数情况下它应该表现良好。该脚本假定为 phpredis,但实际上应该与 predis 相同。

      输出示例:

      > php redisauto.php a
      ["addick","alfred"]
      
      > php redisauto.php ad
      ["addick"]
      
      > php redisauto.php al
      ["alfred"]
      
      > php redisauto.php j
      ["jeff","joel"]
      
      > php redisauto.php je
      ["jeff"]
      

      【讨论】:

        【解决方案4】:

        这里是原始 antirez 在 Python 中的 Ruby 实现的一个端口:

        http://www.varunpant.com/posts/auto-complete-with-redis-python
        

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 2015-08-20
          • 2012-06-12
          • 2013-04-24
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2011-05-31
          • 1970-01-01
          相关资源
          最近更新 更多