在忙于运行 map reducer 作业时写入 hadoop 集群

Question

我知道 Hadoop 有 Fair Scheduler，我们可以在其中将作业分配给某个优先级组，然后根据优先级将集群资源分配给作业。我不确定，我要问的是 Hadoop 集群如何对非 map-red 程序进行优先级排序。具体来说，当集群忙于运行 map-red 作业时，Hadoop 如何优先考虑通过外部客户端（例如一些直接打开 HDFS 文件并将数据流式传输到其中的独立程序）对 Hadoop 的写入。

Answer 1

资源管理器只能优先处理提交给它的作业（例如 MapReduce 应用程序、Spark 作业等）。

除了 distcp，HDFS 操作仅与 NameNode 和 Datanodes 交互，而不是与资源管理器交互，因此它们将由 NameNode 按照接收顺序进行处理。