近十年来 , 深度学习领域的理论突破让人工智能迎来了新一轮的发展高潮 ,开始在各行各业落地 。 与此同时 , 在移动终端和物联网设备的广泛应用场景中 , 如何将人工智能融入边缘计算 , 部署在边缘设备 , 更好更快地提供智能服务也成为了热点话题 。 边缘智能的概念因此应运而生 。
OPENAI LAB(开放智能)于2016年成立 , 旨在为AIoT产业上下游合作伙伴提供边缘AI算力的开放平台及应用操作系统 。 以开放的AIoT操作系统平台Tengine为核心 , 致力于推动芯片、硬件、算法、软件整个产业链的深度合作 , 加速人工智能产业化应用部署和应用场景边界拓展 , 助力AIoT全行业的快速赋能及应用落地 , 让更多企业进入AI行业 , 最终实现万物智能 。
在12月26日的技术工作坊中 , 来自OPEN AI LAB的技术专家围绕Tengine介绍了边缘智能方向的相关内容 。
文章图片
OPEN AI LAB高级软件开发工程师李琦首先对「Tengine框架的模型推理」进行了介绍 。 当前 , AI技术及应用场景无处不在 , 包括门禁、考勤 , 坐火车、坐飞机时的人脸识别 。 每个简单的应用都需要有一个开发链条 , 这些开发工作是非常碎片化的 , 比如要懂三个方面以上的系统知识 , 也要懂框架方面的知识和底层部署硬件的知识 , 为企业开发带来了很大的人力损耗和技术挑战 。 与此同时 , 受到云端网络、带宽等成本的限制 , 边缘设备也受到了更多的关注 。 训练好的模型如何在平台上部署?性能和精度如何 , 能否满足要求?嵌入式平台系统很复杂 , 此类场景如何处理?
基于种种痛点 , OPENAI LAB成立了Tengine自主知识产权的边缘AI推理框架 , 就是Tengine产品 。
值得注意的是 , Tengine已经在GitHub开源 。 一方面Tengine可以通过异构计算技术同时调用CPU、GPU、DSP、NPU 等不同计算单元来完成AI网络计算;另一方面 , 它支持TensorFlow、Caffe、MXNet 、PyTorch、 MegEngine、 DarkNet、ONNX、 ncnn 等业内主流框架 , 是国际上为数不多的通过ONNX官方认证的战略合作伙伴之一 。
【Tengine|这场干货满满的技术工作坊,让开发者真正走近了NPU时代的边缘智能】
文章图片
OPEN AI LAB系统应用技术负责人蒋黎鹏的分享主题是「基于Tengine的边缘开发理论实践」 。 人工智能发展到现阶段 , 大家不再一味关注算法的性能调优 , 而行业落地、产业赋能越来越受到重视 , 也就是所谓的「+AI」或「AI+」 。 结合现在的应用开发现状 , 蒋黎鹏提到目前应用开发边缘端存在的四个问题:
1、芯片异构化的条件下如何有效利用算力 。
2、开发生态的碎片化 , 产品如何快速选型、适配和迁移 。
3、算法、芯片级硬件和应用的强耦合 , 分工协同难度很大 。
4、如何进一步降低算法端计算的成本 , 提高产品在市场上的竞争力 。
随后 , 蒋黎鹏介绍了三种端侧的常见模型加速手段:权值量化、网络剪枝和知识蒸馏 。 此外 , 他也提到了新兴的联邦学习 , 这种方法能够解决边缘端的一些隐私问题 。
OPENAI LAB在Tengine的基础上 , 打造了边缘人工智能开发平台EAIDK 。 这是全球首个采用Arm架构的人工智能开发平台 , 面向边缘计算的人工智能开发套件 。 其中 , 硬件平台具备语音、视觉等传感器数据采集能力及适用于多场景的运动控制接口;智能软件平台支持视觉处理与分析、语音识别、语义分析、SLAM等应用的基础平台和主流开源算法 , 满足端侧AI教育、算法应用开发、产品原型开发验证等需求 。 帮助人工智能真正落地的同时 , EAIDK也助力了AI开发门槛的降低 。
推荐阅读
- 解决方案|【干货】反渗透设备结垢原因及解决方案
- 有色金属|探寻新材料产业新技术、新理念、新思路,这场论坛信息量满满!
- 新机|洞察雾化科技产业新趋势,这场高峰论坛将探讨变局与新机
- 空间|脉冲式睡眠、可靠性达0.9999安全保障……这场见面会有故事
- 侦察|泸州104个“黑科技”亮相首届“科创会”!这场科技界的饕餮盛宴,太惊艳了!
- 数据|数字化给民众生活带来什么?这场数字经济论坛给答案
- 机器人|亮点提前看!宝鸡这场国际展会不容错过
- 广东|毫米波雷达、数字孪生……广东的这场大赛全程“黑科技”高能来袭
- 技术|微软怎么看元宇宙?阿里元镜是什么?这场大会都有答案
- 钱学森|在这场展览上,一张1996年的工资条揭示了钱学森的军龄