【发布时间】:2011-09-24 18:21:05
【问题描述】:
有没有人有机会同时从事这两项工作?我需要建立一个框架来移动数据。基本上,我们将点击流数据作为文本文件传入。这些数据需要从应用服务器转移到 HDFS,然后在归档后转移到 S3。
在 Flume 和 Scribe 之间进行选择时,我需要帮助。哪个在可管理性、设置方面更好,哪个更容易定制?
【问题讨论】:
标签: logging flume scribe-server
有没有人有机会同时从事这两项工作?我需要建立一个框架来移动数据。基本上,我们将点击流数据作为文本文件传入。这些数据需要从应用服务器转移到 HDFS,然后在归档后转移到 S3。
在 Flume 和 Scribe 之间进行选择时,我需要帮助。哪个在可管理性、设置方面更好,哪个更容易定制?
【问题讨论】:
标签: logging flume scribe-server
查看here发布的答案
我会引用答案:
Flume 允许您从 中心点,无需 ssh 进入每台机器,更新一个 配置变量并重新启动一个或两个守护进程。你可以开始了, 在任何机器上停止、创建、删除和重新配置逻辑节点 使用 Flume 从网络中的任何命令行运行 Flume 罐子可用。
Flume 还具有集中的活性监控。我们听过一个 几个关于 Scribe 进程默默失败但撒谎的故事 直到 Scribe 安装的其余部分才被发现 在增加的负载下开始吱吱作响。 Flume 可以让你看到 一个地方的所有逻辑节点的运行状况(请注意,这是 不同于机器活跃度监控;机器经常停留 过程可能会失败)。
Flume 支持三种不同类型的可靠性保证, 允许您在资源使用和 可靠性。特别是,Flume 支持完全 ACKed 的可靠性, 保证所有事件最终都会发生 通过事件流。
Flume 也非常可扩展 - 编写自己的非常容易 源或接收器,并将大多数系统与 Flume 集成。如果滚动 你自己的是不切实际的,拥有你的通常很简单 应用程序以 Flume 可以理解的形式输出事件(Flume 例如,可以运行 Unix 进程,所以如果你可以使用 shell 脚本 获取你的数据,你是金子)。
这不是使用 Flume 的所有好处的详尽列表 - 我没有 谈到使用装饰器进行轻量级转换或 元数据提取、配置语言、运行能力 单个 Flume 进程中的多个逻辑节点,自动分桶 并在 HDFS 中滚动日志文件...关于 Flume 的更多信息 我们期待与大家分享。
对我来说,关键的区别在于 Cloudera 正在积极支持 水槽。虽然我通常相信 Facebook 会保持良好的开放性 源项目,Cloudera 的业务是围绕提供支持而建立的 对于这样的工具,所以我相信 Flume 将长期存在 得到更好的支持。我想尽量减少我必须考虑的时间 这个特殊的问题。也就是说,到目前为止,我有很多烦人的事 Flume 的抽象或者有点复杂的问题 正如您对 1.0 之前的预期一样,其实现中存在错误 技术。如果 Asana 还没有处于测试阶段,我可能会选择 抄写员
【讨论】: