从流中一次启动一个任务

Question

我正在使用 File Source 流组件从目录中读取文件并将 File 实例发送到自定义处理器，该处理器读取文件并使用 TaskLauncher 接收器启动特定任务。如果我在目录中放置 5 个文件，则会同时启动 5 个任务。我想要实现的是让每个任务一个接一个地执行，所以我需要监控任务的状态以确保在启动另一个任务之前之前的任务已经完成。我有哪些实施方案？附带说明一下，我在 Yarn 集群上运行它。

谢谢，

-弗兰克

Answer 1

我认为 YARN TaskLauncher 的异步任务启动可能是让所有任务看起来像是同时启动的原因。您可以尝试的一种可能的方法是使用custom 任务启动器sink 使launches 任务和waits 使任务状态在开始处理下一个触发请求之前为completed。