【问题标题】:Huge database indexing elasticsearch庞大的数据库索引elasticsearch
【发布时间】:2013-08-14 12:22:01
【问题描述】:

我正在尝试使用 elasticsearch 为包含超过 100 万个帖子的数据库建立索引,但我遇到的问题是由于数据量大而导致索引崩溃

是否可以部分地进行索引,或者这是不应该崩溃的东西,我只是做错了什么?

我正在使用 Elastica (https://github.com/ruflin/Elastica)

----编辑----

忘记添加一些错误,这是我得到的,之后什么都没有发生

Caused by: org.apache.lucene.queryparser.classic.ParseException: Encountered "<EOF>" at line 1, column 5.
Was expecting one of:
    <BAREOPER> ...
    "(" ...
    "*" ...
    <QUOTED> ...
    <TERM> ...
    <PREFIXTERM> ...
    <WILDTERM> ...
    <REGEXPTERM> ...
    "[" ...
    "{" ...
    <NUMBER> ...

    at org.apache.lucene.queryparser.classic.QueryParser.generateParseException(QueryParser.java:708)
    at org.apache.lucene.queryparser.classic.QueryParser.jj_consume_token(QueryParser.java:590)
    at org.apache.lucene.queryparser.classic.QueryParser.Clause(QueryParser.java:275)
    at org.apache.lucene.queryparser.classic.QueryParser.Query(QueryParser.java:181)
    at org.apache.lucene.queryparser.classic.QueryParser.TopLevelQuery(QueryParser.java:170)
    at org.apache.lucene.queryparser.classic.QueryParserBase.parse(QueryParserBase.java:121)
    ... 18 more

【问题讨论】:

  • 它是如何崩溃的?有什么错误吗?您是否验证了日志?
  • 请添加有关“崩溃”的详细信息。像这样,它可能是从客户端耗尽时间到耗尽磁盘空间或计算机内存的任何事情。

标签: php elasticsearch elastica


【解决方案1】:

好的,我发现了我的错误,问题是我要快速加载大量数据

只需添加sleep(1); 即可解决问题

【讨论】:

  • 这个错误听起来好像是socket timeout没抓到,导致http调用不完整,反正希望大家使用Bulk indexing!
  • 感谢您的回复,从那以后我已经重新构建了 3 次代码,现在我有了一种可行的方法,是的,我使用批量,但感谢您的提示 =)
猜你喜欢
  • 2011-06-18
  • 2013-10-31
  • 1970-01-01
  • 1970-01-01
  • 2012-02-08
  • 1970-01-01
  • 1970-01-01
  • 2012-06-10
  • 1970-01-01
相关资源
最近更新 更多