日前 , 北京智源人工智能研究院(以下简称智源研究院)联合阿里、清华等多家单位发布超大规模新型预训练模型“文汇” , 旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题 。 项目由智源研究院发起的“悟道”攻关团队完成 , 团队成员包括智源研究院、阿里巴巴、清华大学、中国人民大学、中国科学院等 。
与传统AI训练需要人工标注数据不同 , 面向认知的预训练语言模型提供了一种全新的学习思路 , 即AI首先自动学习 大量语言文字和图像数据 , 记忆和理解其中的信息以及人类语言表述的规律后 , 再进一步学习专业领域知识 , 从而让AI同时掌握常识和专业知识 。
此次发布的“文汇”是目前国内规模最大的预训练模型 , 参数量级达113亿 。 该模型突破了多模态理解与多模态生成两大难题 , 可理解文本图像信息 , 并能完成创造性任务 。 例如 , 仅需输入诗歌题目、朝代以及作者 , “文汇”即可自动生成仿古诗词 。 目前 , “文汇”已支持基于认知推理的多种自然语言及跨模态应用任务 , 部分应用即将上线 。
【认知|智源研究院发布超大规模新型预训练模型“文汇”参数量级达113亿】据介绍 , “悟道”项目研究团队正在视觉等更广泛的范围内 , 对大规模自监督预训练方法开展探索研究 , 目前已经启动了四类大规模预训练模型研制 , 包括“文源”(以中文为核心的超大规模预训练语言模型)、“文汇”(面向认知的超大规模新型预训练模型)、“文澜”(超大规模多模态预训练模型)和“文溯”(超大规模蛋白质序列预训练模型) 。
推荐阅读
- 研究院|传统行业搭上数字化快车,施工现场变“智造工厂”
- 周鸿祎|网络安全行业应提升数字安全认知
- 安全风险|网络安全行业应提升数字安全认知
- 环境研究院|国外科学研究:配上“双眼”,农业无人机看得更精准
- 协同|中科合肥智慧农业协同创新研究院项目地下结构封顶
- 技术|AI大咖张宏江加盟清华智能产业研究院,联手张亚勤突破AI基础领域
- 建设|打造数字医学领域建设的交大样本 上海交通大学成立数字医学研究院
- 技术|认知AI的兴起:2025年AI将会发生质的飞跃
- 阿尔茨海默病|每天两杯咖啡或可防认知下降
- 建设|上海交大数字医学研究院成立,宁光任研究院院长