Hadoop：提交作业后客户端的高 CPU 负载

Question

在筛选一些 Hadoop 指南时，我找不到问题的答案：我通过客户端计算机上的 shell 脚本一次性提交各种 Hadoop 作业（最多 200 个）。每个作业都通过一个 JAR（相当大；大约 150 MB）启动。提交作业后，客户端计算机的 CPU 负载非常高（每个内核都在 100% 上），并且 RAM 很快就满了。这样，客户端不再可用。我以为每个作业的计算完全在Hadoop框架内完成，作业运行时集群和客户端之间只交换一些状态信息。

那么，为什么客户端会完全拉伸？我是否以错误的方式提交 Hadoop 作业？每个 JAR 是否太大？

提前致谢。

Answer 1

这与罐子无关。客户端正在计算InputSplits。 因此，当每个作业有大量输入文件时，客户端机器可能会承受大量负载。 但我想在提交 200 个作业时，jobtracker 上的 RPC 处理程序会出现一些问题。 jobtracker 上有多少 RPC 处理程序处于活动状态？

无论如何，我一次最多可以批量提交 10 或 20 个作业，然后等待它们完成。我猜你有默认的 FIFO 调度程序？因此，一次提交所有 200 个作业也不会让您受益。