【问题标题】:Solr Millions of search queries at onceSolr 一次数百万个搜索查询
【发布时间】:2018-07-25 07:37:51
【问题描述】:

我必须在参考地址(PostGreSQL 数据库中大约 3000 万个)和包含其他地址的文件(一个月很多文件,每个文件包含数百万个地址)之间进行配对。

我已经设法在 SolR 中导入参考地址,并且搜索引擎很棒。有没有一种方法可以创建一个处理程序或插件来非常快速地对文件的每一行进行配对?

我不能使用 REST API 在 SolR 上执行数百万个 http 请求,这太慢了。我只想将结果作为“id pairing”,例如,如果文件“somefile.csv”的 ID 17 地址与引用地址的 IDS 36、452 和 13456 匹配,这就是我需要检索的全部内容,我可以问数据库稍后会提供更多信息。

我想用 Java 做,但任何其他语言也可以。

【问题讨论】:

  • 关闭为重复项无效。这个问题有一个正确的答案,它作为副本被关闭的问题与您今天如何解决 Solr 中提出的问题并不真正相关。
  • 再问一次 Julien,我会为您提供使用流表达式的可能解决方案。

标签: java batch-file solr bulk pairing


【解决方案1】:

创建两个集合 - 一个您已有的集合,其中包含您要匹配的地址。第二个集合应该包含您要用于查找地址的 CSV 文件的内容 - 您可以在 Solr 中 upload the CSV file directly as documents。

设置两个集合及其对应文件后,使用 Solr 中的 Streaming Expressions support 在两个集合之间编写 leftOuterJoin(或者如果您想要其他行为,则使用不同的连接)。这样,您将从上传的文件中取回所有条目,并使用匹配地址 id 的原始 id 进行丰富。

给定两个集合addresses(包含原始地址)和uploaded_file(包含上传的CSV行),连接表达式可以写成:

leftOuterJoin(
  search(uploaded_file, q=*:*, fl="id,address", sort="address asc"),
  select(
    search(addresses, q=*:*, fl="id,address", sort="address asc"),
    address AS original_address,
    id AS original_id
  ),
  on="address=original_address"
)

使用您收藏的“管理”页面上的“流”部分,您可以尝试各种表达方式。

使用如下测试文档和集合,结果如下:

addresses中的文档:

  {
    "id":"add1",
    "address":"foo st. 33",
    "_version_":1606950875589246976},
  {
    "id":"add2",
    "address":"foo st. 49",
    "_version_":1606950875591344128},
  {
    "id":"add3",
    "address":"bar lane 1",
    "_version_":1606950875591344129},
  {
    "id":"add1-duplicate",
    "address":"foo st. 33",
    "_version_":1606951820879462400}

uploaded_file中的文档:

  {
    "id":"up1",
    "address":"foo st. 33",
    "_version_":1606950921604956160},
  {
    "id":"up2",
    "address":"foo st. 72",
    "_version_":1606950921607053312},
  {
    "id":"up3",
    "address":"bar lane 1",
    "_version_":1606950921607053313}

运行表达式给我们:

"docs": [
  {
    "original_address": "bar lane 1",
    "address": "bar lane 1",
    "id": "up3",
    "original_id": "add3"
  },
  {
    "original_address": "foo st. 33",
    "address": "foo st. 33",
    "id": "up1",
    "original_id": "add1"
  },
  {
    "original_address": "foo st. 33",
    "address": "foo st. 33",
    "id": "up1",
    "original_id": "add1-duplicate"
  },
  {
    "address": "foo st. 72",
    "id": "up2"
  },
  {
    "EOF": true,
    "RESPONSE_TIME": 28
  }
]

这会为您提供与上传的一个文档匹配的地址,以及与任何不匹配的地址(缺少original_id)。

【讨论】:

  • 哇,非常感谢,我从没想到这会奏效。我要试试这个,看起来很简单,而且我已经知道如何创建内核了。
  • 几乎成功了,但我收到了这条消息:{ "result-set":{ "docs":[{ "EXCEPTION":"org.apache.solr.common.SolrException: java.lang. IllegalArgumentException: HostProvider 不能为空!", "EOF":true, "RESPONSE_TIME":2319}]}}
  • 我想知道这是否仅适用于集合?
  • 它确实需要您在云模式下运行 Solr,是的。但这也可以是单个节点。
  • 创建一个单独的查询来检索那些不匹配的(通过在我的示例中连接后附加一个额外的过滤器),然后使用单独的查询或更大的布尔查询集(默认限制:1000 个术语),具体取决于您要如何检索匹配项。使用多个术语可能难以准确确定哪些地址导致了点击。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2014-09-19
  • 1970-01-01
  • 1970-01-01
  • 2018-05-11
  • 2017-03-26
  • 2011-12-26
  • 2021-03-15
相关资源
最近更新 更多