【问题标题】:Sharing a cluster with Hadoop与 Hadoop 共享集群
【发布时间】:2012-05-07 00:51:40
【问题描述】:

是否可以设置 Hadoop 使其与集群上的其他应用程序很好地配合使用?

我熟悉 Torque+Maui 资源调度程序,并且熟悉使用 HadoopOnDemand 来配置临时 Hadoop 集群。但是,如果很多人都想使用 Hadoop,这会变得相当麻烦:每个人都同样为设置和拆除自己的迷你 hadoop 集群、在自己的 HDFS 上复制数据等而头疼。

如果我们可以有一个永久运行的 Hadoop 实例供人们共享,并且 HDFS 始终处于运行状态,那就更酷了。这需要 Hadoop 智能地将工作分配给不忙于其他应用程序(例如 R)的节点,并且在排队作业时不要贪婪。

这可能吗?

【问题讨论】:

  • 不幸的是,我认为这是 Hadoop 在功能方面真正缺乏的地方。

标签: hadoop cluster-computing torque


【解决方案1】:

这不就是公平调度器所做的吗?

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

我们使用它来运行具有 30 个用户的永久 hadoop 集群。您可以让它抢占任务以重新分配到新池,也可以为每个池设置单独的优先级。

【讨论】:

  • 不完全,不。如果集群只运行 Hadoop,这很有效,但如果人们也想将它用于其他应用程序怎么办?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-04-18
  • 2017-04-17
  • 2010-11-02
  • 1970-01-01
  • 1970-01-01
  • 2014-12-27
相关资源
最近更新 更多