飞桨|百度首次元宇宙里开大会,李彦宏:5年内一线城市不再限购限行( 三 )


  • NLP(自然语言)大模型
  • CV(计算机视觉)大模型
  • 跨模态大模型
之所以如此分类,是因为百度希望文心能够像人类一样,通过对语音、图像和视频等,从不同模态、异构信息综合地去理解世界。
更进一步的,便是让大模型能够具备更强、更稳的通用性。
例如在不久前发布的鹏城-百度·文心大模型,包含2600亿参数,是全球最大中文单体模型。
它就像是一个学霸,无需花费大量时间去“死记硬背”,仅是学习了“教材”10%的内容,便能取得与其它主流大模型相媲美、甚至是超越的成绩。
而百度文心大模型的提出,相辅相成的,也让其背后百度大脑的能力更上一层楼。
这不,王海峰在现场就上演了一段“用嘴作画”:
百度大脑,我们一起创作一幅水墨画吧。
这边是连绵的山脉,山上云雾缭绕,山脚下有一座草堂建在江边,江上有 一条船,一个人站在船头;然后这边有一行飞鸟掠过天空。
话音刚落,一幅颇有意境的中国水墨画便立即呈现了出来。

飞桨|百度首次元宇宙里开大会,李彦宏:5年内一线城市不再限购限行
文章插图
有了画作,怎能少得了诗词。这不,王海峰便补充道:
百度大脑,为这幅画作首诗吧。
随机,与画作相匹配的一首诗词也被分分钟创作了出来。

飞桨|百度首次元宇宙里开大会,李彦宏:5年内一线城市不再限购限行
文章插图
不难看出,在大模型加持下的百度大脑,让其应用更具智慧,也展现出了更贴近人类的能力。
大模型与自动驾驶共同的开发平台知识增强大模型、自动驾驶等虽属于技术的不同方向,但在百度,他们有着同一个核心技术在背后支撑。
也就是百度自研的飞桨深度学习平台。
百度对飞桨的定位是一个开源开放的产业级深度学习平台,除了为百度自己的诸多业务提供支持外,还希望助力各行各业的创新和发展。
在2021年末这个时点看来,这种助力作用已经在AI的开发、训练和部署流程都得到体现。
在开发阶段,飞桨提供了丰富的API,并于2020年率先实现动态图与静态图两种编程模式统一。
“动静统一”能够兼顾科研开发需要的灵活,和产业开发需要的高效。
另外,今年飞桨还针对科研开发新增了一系列科学计算API,和高阶自动微分等新功能。
可支持量子计算、生命科学、计算流体力学、分子动力学等前沿领域模型开发。
在训练阶段,飞桨今年发布了自适应大规模分布式训练技术。
针对模型特点和硬件特点,搜索最优的机器组合和模型切分策略,并采用异步流水运行机制,以及高通信和高并发的方式,使大模型训练效率达到最优。
刚刚发布的全球首个千亿级知识增强大模型也是基于这项技术训练出来的。
在推理和部署阶段,飞桨打造了推理部署工具链,让高速推理引擎实现多端多平台的便捷部署。
飞桨提供的模型蒸馏压缩工具,可将大模型参数规模压缩至 1/1000。
同时保持满足产业实际需求的性能,帮助开发者加速业务落地。
为了支持更多不同行业的开发者,百度还做了两件事。
一个是为降低适配成本设计的统一的硬件接入方案,当前已适配的芯片或IP已有31款。
另一个是官方产业级模型库,提供从大模型到兼顾精度与性能的小模型超过400个。
相关产业的合作伙伴可以直接选用,或使用这些模型根据实际需求做快速调整。
截至目前,飞桨平台上已汇聚406万开发者、服务15.7万家企事业单位,位居中国深度学习平台综合市场份额第一。

推荐阅读