【问题标题】:Unable to do bulk indexing for large file in elasticsearch无法在弹性搜索中对大文件进行批量索引
【发布时间】:2016-04-13 16:06:55
【问题描述】:

我正在尝试使用 Python 在弹性搜索中对一个大文件(~800MB)进行批量索引。但是,每次我尝试

[2016-01-08 15:06:49,354][WARN][http.netty][Marvel Man] 处理客户端 http tra 时捕获异常 ffic,关闭连接 [id: 0x2d26baec, /0:0:0:0:0:0:0:1:58923 => /0:0:0:0:0:0:0:1:9200] org.jboss.netty.handler.codec.frame.TooLongFrameException:HTTP 内容长度超过 104857600 字节。 在 org.jboss.netty.handler.codec.http.HttpChunkAggregator.messageReceived(HttpChunkAggregator.java:169) 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeli ne.java:791) 在 org.jboss.netty.handler.codec.http.HttpContentDecoder.messageReceived(HttpContentDecoder.java:135) 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeli ne.java:791) 在 org.jboss.netty.channel.Channels.fireMessageReceived(Channels.java:296) 在 org.jboss.netty.handler.codec.frame.FrameDecoder.unfoldAndFireMessageReceived(FrameDecoder.java:459) 在 org.jboss.netty.handler.codec.replay.ReplayingDecoder.callDecode(ReplayingDecoder.java:536) 在 org.jboss.netty.handler.codec.replay.ReplayingDecoder.messageReceived(ReplayingDecoder.java:435) 在 org.jboss.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70) 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 在 org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeli ne.java:791) 在 org.elasticsearch.common.netty.OpenChannelsHandler.handleUpstream(OpenChannelsHandler.java:75) 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564) 在 org.jboss.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:559) 在 org.jboss.netty.channel.Channels.fireMessageReceived(Channels.java:268) 在 org.jboss.netty.channel.Channels.fireMessageReceived(Channels.java:255) 在 org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:88) 在 org.jboss.netty.channel.socket.nio.AbstractNioWorker.process(AbstractNioWorker.java:108) 在 org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:337) 在 org.jboss.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:89) 在 org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:178) 在 org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) 在 org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745)

谁能帮我理解这里发生了什么,以及如何解决这个问题?

【问题讨论】:

  • 我猜它清楚地写着org.jboss.netty.handler.codec.frame.TooLongFrameException: HTTP content length exceeded 104857600 bytes。您的文件太大。
  • 看到这个issue,错误很明显你的文件很大,你必须拆分它。

标签: java python elasticsearch


【解决方案1】:

您必须增加默认为 100mb 的内容上传长度。 转到 config 文件夹中的 elasticsearch.yml

添加/更新 -

http.max_content_length:300M

【讨论】:

    猜你喜欢
    • 2016-06-20
    • 2013-10-16
    • 2017-07-03
    • 1970-01-01
    • 1970-01-01
    • 2018-04-07
    • 2016-02-27
    • 2022-08-12
    • 2013-07-02
    相关资源
    最近更新 更多