面向边缘智能的模型推理优化技术简介( 四 )_在深度学习模型的部署（即模型推理）阶

在边缘智能系统设计中，往往可以综合以上多种手段来满足应用需求。例如，我们联合模型分割和模型提前退出这两种技术手段，提出了基于端边协同的深度学习推理加速优化框架Edgent 。 Edgent的优化逻辑分为三个阶段：离线训练阶段、在线优化阶段以及协同推断阶段。在离线训练阶段，我们训练好满足任务需求的多分支网络（含有模型提前退出点），同时为分支网络中的不同神经网络层训练回归模型，以此估算神经网络层在边缘服务器与终端设备上的运行时延；在线优化阶段，回归模型将被用于寻找符合任务时延需求的退出点以及模型分割点：在协同推断阶段边缘服务器和终端设备将按照得出的方案进行分布式执行。如此，通过优化模型退出点与分割点的选择，我们可以充分利用边缘侧分布式计算资源来满足应用实时性能要求，同时尽可能提升模型推理精度。