面向边缘智能的模型推理优化技术简介( 三 )_在深度学习模型的部署（即模型推理）阶

边缘缓存：在很多AI应用中，部分查询任务具有时间重复性特征。例如，在公司、学校或者园区的人脸识别应用中，存在大量频繁重复的人脸输入。对于这些重复性输入，可以将它们的识别结果缓存在边缘节点，从而避免重复性计算，降低时延与资源消耗。考虑到边缘缓存容量有限，如何动态调整缓存的结果是需要解决的关键问题。

输入过滤：对于很多AI应用，大量的输入是对查询结果无意义的非目标输入。例如在安防监控中，摄像头中的大量输入为非目标的视频背景。通过提前识别并去除这些非目标输入，可以有效避免深度学习模型推理的冗余计算，从而显著降低模型推理的资源消耗。

面向应用优化：面向应用优化主要考虑针对应用的某些特定属性进行优化。例如，对于图片识别应用而言，图片分辨率对深度学习模型的资源消耗有非常大的影响。我们可以通过降低输入图片辨率来降低资源消耗。进一步，针对视频分析应用我们可以通过同时调整视频输入的分辨率和帧速率来降低视频分析过程中的资源消耗。

面向边缘智能的模型推理优化技术简介( 三 )