Apache Flink 进阶(一):Runtime 核心机制剖析( 六 )
TaskExecutor 收到 JobManager 提交的 Task 之后 , 会启动一个新的线程来执行该 Task 。 Task 启动后就会开始进行预先指定的计算 , 并通过数据 Shuffle 模块互相交换数据 。
以上就是 Flink Runtime 层执行作业的基本流程 。 可以看出 , Flink 支持两种不同的模式 , 即 Per-job 模式与 Session 模式 。 如图 3 所示 , Per-job 模式下整个 Flink 集群只执行单个作业 , 即每个作业会独享 Dispatcher 和 ResourceManager 组件 。 此外 , Per-job 模式下 AppMaster 和 TaskExecutor 都是按需申请的 。 因此 , Per-job 模式更适合运行执行时间较长的大作业 , 这些作业对稳定性要求较高 , 并且对申请资源的时间不敏感 。 与之对应 , 在 Session 模式下 , Flink 预先启动 AppMaster 以及一组 TaskExecutor , 然后在整个集群的生命周期中会执行多个作业 。 可以看出 , Session 模式更适合规模小 , 执行时间短的作业 。
图3. Flink Runtime 支持两种作业执行的模式 。
推荐阅读
- 第五人格|梦幻西游:担心的事发生了,大佬进阶110选错召唤兽,白花了2000块
- 盲僧|英雄联盟手游:打野玩家的进阶选择,盲僧,高机动性带来的直接收益
- 我的世界|剑网3药宗版本pve装备进阶路线,从大侠到新赛季毕业
- 盲僧|LOL手游盲僧是英雄代表?灵药再推进阶教学,双区王者的经验
- 进阶|永劫无间:胡桃只是奶妈?法神开发胡桃进阶打法,化身团战关键手
- 德鲁伊|魔兽怀旧服:TBC德鲁伊进阶宏,熊德无缝吃药,奶德一键迅捷治疗
- 进阶|梦幻西游:两次就进阶110灵性成功!难道中途的转折起了关键作用
- 进阶|梦幻西游手游:萌新的福利?新NPC开启测试,进阶不再问老玩家!
- 明日方舟|三国志战略版:冲桃园扫麒麟,虎臣弓进阶虎臣爆头骑指南
- 和平精英|和平精英核电站打法进阶教学,KS小雪吖提供详细攻略,吃鸡稳了