【问题标题】:Does Embedded flume agent need hadoop to function on cluster?嵌入式水槽代理是否需要 hadoop 才能在集群上运行?
【发布时间】:2016-09-22 17:32:22
【问题描述】:

我正在尝试在我的 Web 服务中编写嵌入式 Flume 代理,以将我的日志传输到另一个运行我的 Flume 代理的 hadoop 集群。要使用嵌入式水槽代理,我们是否需要在运行我的 Web 服务的服务器上运行 hadoop。

【问题讨论】:

    标签: hadoop flume agent


    【解决方案1】:

    TLDR:我认为,

    加长版:我没有检查,但在开发者指南 (https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent) 中显示

    注意:嵌入式代理依赖于 hadoop-core.jar。

    (https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)

    并且在用户指南(https://flume.apache.org/FlumeUserGuide.html#hdfs-sink)中,您可以指定 HDFS 路径:

    HDFS 目录路径(例如 hdfs://namenode/flume/webdata/)

    另一方面,您确定要使用嵌入式代理而不是运行 Flume 来放置数据并使用 HTTP 源吗? (https://flume.apache.org/FlumeUserGuide.html#http-source)(...或您可以发送数据的任何其他来源)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-12-10
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-07-09
      • 1970-01-01
      相关资源
      最近更新 更多