【发布时间】:2016-09-22 17:32:22
【问题描述】:
我正在尝试在我的 Web 服务中编写嵌入式 Flume 代理,以将我的日志传输到另一个运行我的 Flume 代理的 hadoop 集群。要使用嵌入式水槽代理,我们是否需要在运行我的 Web 服务的服务器上运行 hadoop。
【问题讨论】:
我正在尝试在我的 Web 服务中编写嵌入式 Flume 代理,以将我的日志传输到另一个运行我的 Flume 代理的 hadoop 集群。要使用嵌入式水槽代理,我们是否需要在运行我的 Web 服务的服务器上运行 hadoop。
【问题讨论】:
TLDR:我认为,不。
加长版:我没有检查,但在开发者指南 (https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent) 中显示
注意:嵌入式代理依赖于 hadoop-core.jar。
(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)
并且在用户指南(https://flume.apache.org/FlumeUserGuide.html#hdfs-sink)中,您可以指定 HDFS 路径:
HDFS 目录路径(例如 hdfs://namenode/flume/webdata/)
另一方面,您确定要使用嵌入式代理而不是运行 Flume 来放置数据并使用 HTTP 源吗? (https://flume.apache.org/FlumeUserGuide.html#http-source)(...或您可以发送数据的任何其他来源)
【讨论】: