ElasticSearch 每天都保持一致的排序顺序，但在几天内随机排列

Question

我正在尝试返回过滤器查询的随机结果，以使我的所有文档都有公平的机会出现在第一页结果中。为了在重复搜索期间不让用户感到困惑（并轻松支持分页），结果应该在当天保持一致。

为此，我开发了以下脚本排序查询。它将文档 id（一个 guid，因此已经相当随机）与每日盐（只是一年中的某一天和当前年份相结合）结合起来，并对结果进行哈希处理以产生我期望的一个相当随机的字符串，它只会改变为“每日盐”每天都在变化（忽略此特定查询中的无关元素，它是从代码生成的）。

{
  "from": 0,
  "size": 20,
  "sort": {
    "_script": {
      "order": "asc",
      "type": "string",
      "script": "org.elasticsearch.common.Digest.md5Hex(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "184-2013"
      }
    }
  },
  "query": {
    "filtered": {
      "query": {
        "match_all": {}
      },
      "filter": {
        "bool": {
          "must": [
            {
              "term": {
                "tag_id": "Some Tag"
              }
            },
            {
              "match_all": {}
            }
          ]
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}

灵感来自this similar question and answer

它有效，但不是很好。当我增加每日盐时，我得到的结果略有不同，但相同的文档不断出现在顶部结果周围。它们略有移动，但肯定有一致的模式。

我尝试将哈希函数更改为我发现的另一个： org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH 但它给出了与常见的顶级结果非常相似的结果。

我不是密码学专家，所以我认为这是常见散列函数的一种行为，并且必须有一些特殊的散列函数用于基于类似输入的更多随机结果？

有没有人熟悉 ElasticSearch 中的一个？我正在使用Searchbox.io（云托管弹性搜索服务），所以安装我自己的自定义函数不是一个选项。

还是我从一个完全错误的角度来处理这个问题？

编辑 我只是查看了脚本生成的结果排序键，似乎该脚本仅应用于结果的第一页，然后对该第一页进行排序（而不是应用于完整的结果集并因此更改文档在第一页内）。

这是我的第一页结果（为简洁起见进行了编辑）。但是您可以仅在第一页上看到排序键从 0c*** 到 fa*** 不等，对于前 0 到 20 个文档，总共有 ~200 个文档。

使用 'dailySalt' = 185-2013

{
"took": 2,
"timed_out": false,
"_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0
},
"hits": {
    "total": 196,
    "max_score": null,
    "hits": [{
        "fields": {
            "id": "27662ef8-d2a7-4fde-80f6-1571b83c4cde"
        },
        "sort": ["0cbf8b4e7927f0a53a5b82f2630ff9ad"]
    }, {
        "fields": {
            "id": "d9b11797-053f-495e-a676-0ec959dba879"
        },
        "sort": ["0fa8730a5239f8a3d1286cbe16619bfa"]
    }, {
        "fields": {
            "id": "482c893f-1083-4860-892e-1b25cf442199"
        },
        "sort": ["295edd71cc48ac41c5e2f91315abf5ce"]
    }, {
        "fields": {
            "id": "581fd0f1-9ecb-4e5c-920b-06413bfbf4f7"
        },
        "sort": ["4b9f0d17bc2333d13a1963b4f6afb829"]
    }, {
        "fields": {
            "id": "de3dddb8-e296-4446-ac4c-135cc925669d"
        },
        "sort": ["4c5d0bcb50f5b600e539ba46b33b1007"]
    }, {
        "fields": {
            "id": "c83ad22e-80b4-40f1-8e56-2153a1a1f9e8"
        },
        "sort": ["55efe0a692ab3205405f1c74732b8205"]
    }, {
        "fields": {
            "id": "7bd19829-4f37-4e02-9fd1-0239b8ae8db4"
        },
        "sort": ["5adcd22c7c507244d7ba382812accdf3"]
    }, {
        "fields": {
            "id": "42fcec43-851f-4133-a8db-1d2bf0b86ec8"
        },
        "sort": ["6757f46bd554e3353a2ebf35c6b3d24c"]
    }, {
        "fields": {
            "id": "e119132b-4e93-4047-8513-1ce2452f0cdd"
        },
        "sort": ["6dbcb59a2b5e91523896d57695251b29"]
    }, {
        "fields": {
            "id": "7d0acf5d-7c14-45a2-97b7-17939ff512f4"
        },
        "sort": ["9d99752ec0802e55dcfb3c83bcd2e4bb"]
    }, {
        "fields": {
            "id": "2cdc21e4-3312-460b-9a18-094e4f95a56c"
        },
        "sort": ["9dc43d1d39e64cfe04c6d7b8f565faaa"]
    }, {
        "fields": {
            "id": "0f665cb3-5648-416c-b08f-146d2a019319"
        },
        "sort": ["b61bb718fe63a287b6fcdc8bcd638604"]
    }, {
        "fields": {
            "id": "1e852d49-2b3b-4d7a-9f1b-1495b94e723e"
        },
        "sort": ["ba7ad8a3a6e195a6bc28e341f9d6965b"]
    }, {
        "fields": {
            "id": "ca2a5922-bb42-4317-b61c-129925436a1f"
        },
        "sort": ["bca0411cf8d67b4dcd5b205a5010367f"]
    }, {
        "fields": {
            "id": "b1dac760-7d73-4b60-bd6d-08ea9453e68c"
        },
        "sort": ["be3714cfb2517e98d525aaea6e40cfa5"]
    }, {
        "fields": {
            "id": "c4b08def-59db-4ac0-b16f-0c3fae4c01f2"
        },
        "sort": ["c4220b31c305d536c7a7d1639da32c66"]
    }, {
        "fields": {
            "id": "cc7ac1fd-3e88-4503-a837-2000ebb6e2d9"
        },
        "sort": ["ceb5710fe2418fe3b353bf7b1f737570"]
    }, {
        "fields": {
            "id": "5a5f90c9-b44f-4ca2-9d16-117c8e9fd388"
        },
        "sort": ["dc5fea76598633cb08c1459983ebca62"]
    }, {
        "fields": {
            "id": "6d811d5b-4138-4a41-a186-1b9aa2b65623"
        },
        "sort": ["ea3c55ac123ac9e819b145402407d1de"]
    }, {
        "fields": {
            "id": "b489d2da-b4a1-44de-acde-219109edd42f"
        },
        "sort": ["fab53cc11983b45b081d4b01df555c59"]
    }]
}
}

Answer 1

MD5 是一个cryptographic hash function，并且此类函数具有一个称为avalanche effect 的属性。简而言之，即使输入的微小变化也会完全改变输出。例如，您可以使用在线 MD5 计算器对此进行试验。

There are no chance collisions 也可以——即使你一生都在寻找它们，你也找不到两个哈希值相同的字符串。

这两个属性保证您编写的脚本每天永远为每个文档生成一个唯一的随机值。哈希函数不是这里的问题。

有多少文件？每页显示多少个结果？看到什么样的模式？某个文档随机出现在首页的可能性非常大。

Answer 2

所以看起来这是 Elastic Search 的脚本排序的问题。它只是将脚本应用于第一页结果，然后只对第一页进行排序。我在任何地方都找不到此行为的记录，因此出于性能原因不确定这是错误还是设计。

无论如何，使用custom_score 查询和类似的 score 函数脚本，给出了所需的结果（由于速度，我使用 DJB 哈希而不是原始 MD5，专为字符串设计，并返回一个 int自定义评分脚本）：

{
  "from": 0,
  "size": 20,
  "query": {
    "custom_score": {
      "script": "org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH(dailySalt + doc['id'].value)",
      "params": {
        "dailySalt": "185-2013"
      },
      "query": {
        "filtered": {
          "query": {
            "match_all": {}
          },
          "filter": {
            "bool": {
              "must": [
                {
                  "term": {
                    "tag_id": "Some Tag"
                  }
                },
                {
                  "match_all": {}
                }
              ]
            }
          }
        }
      }
    }
  },
  "fields": [
    "id"
  ]
}