【问题标题】:Flume: are Http handlers spawned into parallel threads?Flume:Http 处理程序是否生成到并行线程中?
【发布时间】:2016-10-19 10:15:12
【问题描述】:

Flume 中的 Http 源依赖于负责创建要放入通道中的 Event 对象的处理程序。这个处理程序是否会产生多个线程,假设每个传入的 http 消息一个?如果答案是“是”,是否有任何类型的游泳池?这样的游泳池有多大?如果答案是“否”,那么我必须假设传入的 http 消息是按顺序处理的吗? (我希望它们不是,并且实现了某种并行性)。

谢谢!

【问题讨论】:

    标签: flume flume-ng


    【解决方案1】:

    例如查看https://github.com/apache/flume/blob/trunk/flume-ng-core/src/main/java/org/apache/flume/source/http/BLOBHandler.java#L63(和https://github.com/apache/flume/blob/trunk/flume-ng-core/src/main/java/org/apache/flume/source/http/HTTPSource.java#L241),我觉得它是单线程的。

    您可以通过配置多个 HTTP 源进行并行化。

    此外,如果我正确理解您的问题,“池”大小将由您将源连接到的通道定义。

    【讨论】:

    • 我进入 SOF 是为了自动回复我,但你提前做了 :) 是的,我已经做了一些测试,并且我检查了只有一个线程在运行。在需要“多线程”时,我已经考虑过并行化接收器,但从未考虑过源的相同概念。主要是因为我的项目以某种方式限制了我可以打开的端口数量。无论如何,从技术角度来看,您的答案是正确的。谢谢!
    • 谢谢你,frb。如果我能提供进一步的帮助,请告诉我
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-01-20
    • 1970-01-01
    • 1970-01-01
    • 2012-05-31
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多