【发布时间】：2020-11-01 04:59:57
【问题描述】：
是否可以在 AWS EMR 的 Task 节点上运行 Flink 任务管理器？如果是，它与在核心节点上运行任务管理器有何不同？
【问题讨论】：
标签： apache-flink amazon-emr flink-streaming
【发布时间】：2020-11-01 04:59:57
【问题描述】：
是的，您应该能够在任务节点上运行 TM。我期望的唯一区别是 EMR 不会在任务节点上安排 Flink Job Manager (JM)（“Amazon EMR ... 允许应用程序主进程仅在核心节点上运行”）。
如果您的工作流有从 HDFS 读取的源和/或写入 HDFS 的接收器，那么在任务节点上运行的这些运算符的子任务可能需要更长时间，因为任务节点不运行 Hadoop数据节点守护进程，因此所有读/写都通过网络进行。
【讨论】：