易坊好文馆

  1. 首页 > 玩科技 >

华为|华为云田奇深度解读盘古大模型：让AI赋能千行百业

华为 人工智能 消息资讯 百业 开发 深度 模型 盘古 复杂数据 田奇 云盘古 云田

【环球网科技综合报道】对于大多数人而言 ， AlphaGo在围棋上战胜世界顶级棋手李世石、AlphaMaster战胜柯洁 ， 让我们真正意识到人工智能时代的到来 。 随后 ， 市场、产业为之振奋 ， 围绕着“人工智能”开发应用的创业公司不断涌现 ， 传统企业也纷纷入局 ， 利用人工智能技术开拓新的市场需求 。 短短数载 ， 人们对人工智能的认知已从“猎奇”转变到以平常心看待 。 似乎那场由人工智能带来的硝烟已经渐渐散去 ， 而它对社会、产业带来的变化也将随着时间而被淡忘 。
不知从何时开始 ， 我们发现购物网站的推荐越来越符合心意；用手机拍照的效果也越来越好 ， 不用修图就可以得到满意的自拍；早高峰北京二、三环的道路上堵车的现象似乎也越来越少 。 这些我们习以为常 ， 却在暗暗“变好”的场景背后 ， 都离不开人工智能技术的支持 。 正所谓“润物细无声” ， 正如大多数通用性科技 ， 人工智能正在潜移默化地影响着我们的生活 ， 无论学术界还是产业界都在加紧对人工智能技术及应用进行研发和布局 。
近年来 ， 人工智能凭借其对数量庞大、重复、复杂数据的处理能力 ， 正在得到市场、社会的青睐 。 由于人工智能技术的通用性以及现实场景的多样性 ， 如何为不同行业设计一套通用、易用的人工智能开发模式 ， 成为当前人工智能领域研发的热点 。 在过去的两年中 ， 这一领域吸引了包括微软、谷歌、Facebook、OpenAI、华为等众多国际知名科技企业的布局 。 今年四月 ， 华为云人工智能领域首席科学家田奇带领团队正式发布了“华为云盘古系列AI大模型” 。

华为|华为云田奇深度解读盘古大模型：让AI赋能千行百业
文章图片
华为云人工智能领域首席科学家田奇
据田奇介绍 ， 华为云盘古系列AI大模型（以下简称盘古大模型）包括NLP（中文语言）大模型、CV（视觉）大模型、多模态大模型和科学计算大模型 ， 旨在建立一套通用、易用的人工智能开发模型 ， 以赋能更多的行业和开发者 ， 实现人工智能工业化开发 。 它具备强大的泛化能力 ， 通过与行业知识结合 ， 能快速实现不同场景的适配 ， 少量样本也能达到高精度 ， 基于预训练+下游微调的工业化AI开发模式 ， 加速AI行业应用 ， 让AI技术真正为不同行业赋能 。
近日 ， 华为云盘古大模型负责人、华为云人工智能领域首席科学家田奇向媒体采访人员分享了他对于AI工业化以及盘古大模型应用的深度思考 。
推出工业化AI开发新模式 ， 与合作伙伴构建AI生态
【华为|华为云田奇深度解读盘古大模型：让AI赋能千行百业】在加入华为之前 ， 田奇已在AI领域深耕多年：1992年本科毕业于清华大学电子工程系 ， 1996年硕士毕业于美国德雷塞尔大学 ， 后赴美国伊利诺伊大学香槟分校学习 ， 师从计算机视觉领域国际知名专家Thomas S. Huang教授 ， 获博士学位 。 从2002年到2019年历任美国德克萨斯大学圣安东尼奥分校计算机系助理教授、副教授和正教授 。
在2018年6月加入华为后 ， 田奇担任了华为诺亚方舟实验室计算视觉首席科学家 ， 去年3月开始担任华为云人工智能领域首席科学家 。 得益于多年在计算机、AI领域的理论与实践研究 ， 田奇敏锐地发现人工智能在产业、资本推动下进入高速发展的繁荣时期 ， 同时也看到了当下AI在大规模商用上存在的种种不足 。 其中 ， AI应用最大的挑战之一就是AI应用的碎片化、定制化、“作坊式“的开发模式 。 简单来说 ， 一个场景需要单独开发一个模型 ， 整个过程需要从零开始和独立调优 。 如果模型达不到期望的目标 ， 还要推倒重来 ， 导致开发效率很低 ， 开发周期往往需要一个月甚至数月 。 “因此 ， AI开发亟需要新的模式 ，完成从作坊式开发到工业化开发的转变” ， 田奇表示 。
据田奇介绍 ， 今年四月发布的华为云盘古大模型基于“预训练+下游微调”的工业化AI开发模式 ， 旨在加速AI进入千行百业 ， 实现普惠AI 。 盘古大模型基于大数据预训练 ， 拥有很强的泛化能力和小样本学习能力 。 这实现了性能和易用性的突破 ， 即一个模型就可适用大量复杂的行业场景、少量样本也能达到高精度 。
盘古大模型并不是一个实验模型 ， 如今已经落地在了多个行业、100多个场景 ， 包括能源、零售、金融、工业、医疗、环境、物流等等 。 在“国网重庆永川供电公司电力智能巡检”案例中 ， 由于重庆电网铺设地区大部分是丘陵山地、河流山谷 ， 电网巡察需要使用无人机智能巡检 。 其中 ， 传统的无人机智能巡检AI模型开发面临两大挑战 ， 一是如何对海量数据进行高效标注；二是缺陷种类多达上百种 ， 需要数十个AI识别模型 ， 开发成本高 。 为了解决实际上述问题 ， 华为云团队在盘古CV大模型的基础上 ， 利用海量无标注电力数据进行预训练 ， 并结合少量标注样本微调的高效开发模式 ， 提出了针对电力行业的预训练模型 ， 巧妙地解决了数据标注的问题 。 应用盘古大模型之后 ， 样本筛选效率提升约30倍 ， 筛选质量提升约5倍 ， 以永川每天采集5万张高清图片为例 ， 可节省人工标注时间170人/天 。 在模型通用性方面 ， 结合盘古搭载的自动数据增广以及类别自适应损失函数优化策略 ， 可以做到一个模型适配上百种缺陷 ， 一个模型就可以替代永川原先的20多个小模型 ， 极大地减少了模型维护成本 ， 平均精度提升18.4% ， 模型开发成本降低90% 。
帮助业界AI应用能力快速提升才是目标
在谈及盘古大模型技术在同领域内所处的地位时 ， 田奇表示 ， 虽然海外也有许多知名企业投身于这个赛道之中 ， 但是华为云盘古大模型依然拥有自身的独特优势 。
首先是技术创新 。 盘古NLP大模型首次使用Encoder-Decoder架构 ， 兼顾NLP理解与生成的能力并且性能领先；采用多任务学习的方法 ， 让大模型训练更加稳定；采用基于提示的微调（Prompt-based） ， 在小样本学习上具有更强的能力 。 盘古CV大模型在业界首次实现了模型的按需抽取 ， 不同部署场景下抽取出的模型体积差异 ， 动态范围可达三个数量级；基于样本相似度的对比学习 ， 小样本学习能力在ImageNet上实现业界领先 。
其次是商业验证 。 华为所研发的技术自身带有可产品化、商业化的属性 ， 盘古大模型也集成了这样的基因 。 在研发之初 ， 就对像金融、智能客服、智能投研等场景进行有针对性开发 。 “我们在一开始设计盘古大模型的时候 ， 就希望它能够在某些场合下得到比较好的一个验证 ， 希望以商业价值驱动一个目标” ， 在田奇看来 ， AI技术能力的展现需要体现在应用上 ， 更好地赋能行业AI应用能力才是盘古大模型最终成果的体现 。
在有限数据下训练AI ， 是当下AI工业化所处的环境
在谈到对AI工业化的看法 ， 田奇表示 ， 当前AI工业化领域由于处在工业数字化的早期 ， 应用场景非常碎片化 ， 很多场景依然需要定制化开发 ， 很难有通用的解决方案 。 面对这样的困局 ， 盘古大模型设定了预训练加微调的方式 ， 让模型能够覆盖更多的场景 ， 并且因为模型足够大 ， 所以性能更高、容纳性更强 ， 也就是泛化能力更强 。
比如在金融领域 ， 行业专家每年需要耗费大量精力分析企业财务数据和非财务数据 ， 挖掘企业财务舞弊的手段和动机 ， 识别企业风险 ， 助力企业项目审核 。 由于行业专家的稀缺性 ， 很难对上千家公司的财务进行详细分析 。 另外 ， 由于数据样本量小、分布极度不均衡等因素 ， 传统机器学习已无法对企业财务数据和非财务数据进行准确分析 。
为提升行业分析效率 ， 减少人工工作量 ， 盘古大模型对一系列模型进行了数据差异化训练 ， 逐一训练后再将每个模型进行高效融合 。 经过训练的盘古大模型可识别10+大类财务异常、200+小类异常信号 ， 6类舞弊动机、120+舞弊手段 。
心路历程：从学术界到企业界
作为从学界转型企业界的典型代表 ， 田奇也与采访人员分享了他的心路历程以及对AI的看法 。 来到华为前 ， 田奇曾在大学任教长达17年 ， 主要研究大规模的图像检索、行人重识别等方向 ， 在学术上一度取得了丰硕成果：成为IEEE TMM, TCSVT, TNNLS, ACM TOMM, Multimedia Systems Journal等多个期刊的Associate Editor；拥有6项美国专利 ， 在计算机视觉及多媒体方向顶级期刊及会议如IEEE TPAMI, IJCV, TIP, TMM, CVPR, ICCV, ECCV, ACM MM上发表文章650余篇（包括181 篇IEEE/ACM期刊和191篇CCF A类会议文章） ， 谷歌学术引用次数达30700余次 ， h指数为83 ， 有8篇论文获最佳论文奖或者最佳学生论文（截止2021年8月） 。
田奇获得2010年Google Faculty Research Award、2017年UTSA校长杰出研究奖（每年一名） ， 2016年获评多媒体领域10大最具影响力的学者并获评IEEE Fellow ， 之后于2018年入选国家级领军人才创新项目 。 田奇不仅任清华大学神经与认知计算中心、中科院计算所、中科大、浙江大学、上海交通大学、西安交通大学、南京大学、西安电子科技大学、大连理工大学、东南大学等讲席教授或者客座教授 ， 也是教育部长江讲座教授、国家自然科学基金海外杰青、中国科学院海外评审专家 。 2021年5月底田奇当选国际欧亚科学院院士 。
作为AI学术界的顶尖专家 ， 来到产业界 ， 让田奇得到了更多让理论与实践相结合的机会 ， 也完善了自己的知识架构 。 在他看来 ， 学术界与产业界虽各有不同 ， 但“道”是相通的 ， 都是在追求科技的发展 ， 只不过学术界更注重追求理论研究 ， 而产业界更追求实践应用 。 当下学术界提倡产学研相结合 ， 目的也是促进理论与实践的共同发展 ， 为学术发展提供更多的实践案例 ， 同时也为产业界提供更多的理论指导 。
编者按：自从Alpha Go出现之后 ， 围棋比赛似乎已经从单纯的追求胜负的圈子里跳出来 ， 转而去追求围棋真正的“形式美”；同理 ， 人工智能的存在帮助人们从单调枯燥的工作中解脱出来 ， 追求属于自己的真正价值；而盘古大模型的应用 ， 也将帮助企业实现降本增效 ， 让AI普惠千行百业 。

    推荐阅读


    上一篇：科学技术|驯服炸药的郑哲敏走了

    下一篇：微云|vivo自研V1芯片曝光：或将被用于X70 Pro旗舰新机