如何使用 BMC Control-M 安排 hadoop 作业？答案

【问题标题】：How to schedule hadoop jobs using BMC Control-M?如何使用 BMC Control-M 安排 hadoop 作业？
【发布时间】：2013-02-06 08:42:36
【问题描述】：

有人知道如何使用 BMC Control-M 软件控制/调度 Hadoop 作业吗？有没有可能？

我已经尝试过 Ooozie，并且想探索更多用于调度 hadoop 作业的选项。

请指教！

【问题讨论】：

标签： hadoop scheduling control-m

【解决方案1】：

答案是肯定的。

而且这个答案会变得更好。

今天，您可以使用各种 Hadoop 组件提供的丰富命令行界面。然后，您可以将这些 CLI 作为命令单独运行，或者将它们组合到直接嵌入到 Control-M 作业中或包装在 shell 脚本中的脚本中（Bash 是一种流行的脚本）并使用 Control-M 进行调度。我提供了一个示例脚本，它执行一些 HDFS 操作，然后运行 MapReduce 作业。

更好的部分将在几个月后发布，届时我们将发布对 Hadoop 的集成支持。那时（我假设您熟悉 BMC Control-M）我们将提供类似于我们其他 CM 的图形表单，用于定义各种作业类型（Pig、Hive、MapReduce 都在考虑中，但我不确定是什么将实际实施），对状态监控、作业输出检索等的集成支持。

我们已经收到许多使用 Control-M 管理其 Hadoop 环境的客户的反馈。

除了运行 Hadoop 作业的“机制”之外，您还可以获得 Control-M 管理图形流的功能、与各种平台和应用程序的集成、管理服务水平、预测、审计、报告和更多。

我很乐意与您进一步讨论这个问题，特别是因为我们仍处于这项工作的早期阶段，我们很想了解您在这方面的要求。请发送邮件至 joe_goldberg@bmc.com 给我，我很乐意安排电话会议或演示。

#!/bin/csh
#
cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'

【讨论】：