Apache Flink 进阶（一）：Runtime 核心机制剖析( 五 )_1.综述本文主要介绍FlinkRuntime的作业

基于上述结构，当用户提交作业的时候，提交脚本会首先启动一个 Client进程负责作业的编译与提交。它首先将用户编写的代码编译为一个 JobGraph ，在这个过程，它还会进行一些检查或优化等工作，例如判断哪些 Operator 可以 Chain 到同一个 Task 中。然后， Client 将产生的 JobGraph 提交到集群中执行。此时有两种情况，一种是类似于 Standalone 这种 Session 模式， AM 会预先启动，此时 Client 直接与 Dispatcher 建立连接并提交作业即可。另一种是 Per-Job 模式， AM 不会预先启动，此时 Client 将首先向资源管理系统（如Yarn、K8S）申请资源来启动 AM ，然后再向 AM 中的 Dispatcher 提交作业。

当作业到 Dispatcher 后， Dispatcher 会首先启动一个 JobManager 组件，然后 JobManager 会向 ResourceManager 申请资源来启动作业中具体的任务。这时根据 Session 和 Per-Job 模式的区别， TaskExecutor 可能已经启动或者尚未启动。如果是前者，此时 ResourceManager 中已有记录了 TaskExecutor 注册的资源，可以直接选取空闲资源进行分配。否则， ResourceManager 也需要首先向外部资源管理系统申请资源来启动 TaskExecutor ，然后等待 TaskExecutor 注册相应资源后再继续选择空闲资源进程分配。目前 Flink 中 TaskExecutor 的资源是通过 Slot 来描述的，一个 Slot 一般可以执行一个具体的 Task ，但在一些情况下也可以执行多个相关联的 Task ，这部分内容将在下文进行详述。 ResourceManager 选择到空闲的 Slot 之后，就会通知相应的 TM “将该 Slot 分配分 JobManager XX ” ，然后 TaskExecutor 进行相应的记录后，会向 JobManager 进行注册。 JobManager 收到 TaskExecutor 注册上来的 Slot 后，就可以实际提交 Task 了。