【发布时间】:2016-10-19 10:15:12
【问题描述】:
Flume 中的 Http 源依赖于负责创建要放入通道中的 Event 对象的处理程序。这个处理程序是否会产生多个线程,假设每个传入的 http 消息一个?如果答案是“是”,是否有任何类型的游泳池?这样的游泳池有多大?如果答案是“否”,那么我必须假设传入的 http 消息是按顺序处理的吗? (我希望它们不是,并且实现了某种并行性)。
谢谢!
【问题讨论】:
Flume 中的 Http 源依赖于负责创建要放入通道中的 Event 对象的处理程序。这个处理程序是否会产生多个线程,假设每个传入的 http 消息一个?如果答案是“是”,是否有任何类型的游泳池?这样的游泳池有多大?如果答案是“否”,那么我必须假设传入的 http 消息是按顺序处理的吗? (我希望它们不是,并且实现了某种并行性)。
谢谢!
【问题讨论】:
例如查看https://github.com/apache/flume/blob/trunk/flume-ng-core/src/main/java/org/apache/flume/source/http/BLOBHandler.java#L63(和https://github.com/apache/flume/blob/trunk/flume-ng-core/src/main/java/org/apache/flume/source/http/HTTPSource.java#L241),我觉得它是单线程的。
您可以通过配置多个 HTTP 源进行并行化。
此外,如果我正确理解您的问题,“池”大小将由您将源连接到的通道定义。
【讨论】: