文章图片
飞桨超大模型训练
算法
两年前 ， 一个名为「狗屁不通文章生成器」的应用让语言生成类模型走入大众视野 。 它可以在几秒中之内生成上万字的文章 ， 但很多句子明显违背常识 ， 而且你无法控制他所生成的文章的体裁、主题、情感等信息 。 虽然这只是一个简单的模型 ， 但反映出的却是很多生成模型的通病：可控性和可信性差 。
文章图片
人工智能领域知名学者 Gary Marcus 在阐述 GPT-3 局限性时举的一个例子 。 普通字体是人类给出的提示（prompt） ， 加粗字体是 GPT-3 的续写内容 。 文段大意为：你是辩护律师 ， 今天必须出庭 。 早上穿衣服时 ， 你发现你的西装裤很脏 。 但是 ， 你的泳衣很干净、很时髦 。 事实上 ， 这是昂贵的法国时装 ， 是伊莎贝尔送给你的生日礼物 。 所以你决定穿泳衣出庭 。 你到达法院 ， 一名法警将你护送到法庭 。
为了进一步提升模型的语言理解能力以及写小说、歌词、诗歌、对联等方面的文学创作能力 ， 研究者提出了可控学习和可信学习算法 。
在可控学习方面 ， 他们将模型预测出的文本属性和原始文本进行拼接 ， 构造从指定属性生成对应文本的预训练数据 。 然后 ， 他们将这些数据喂给模型 ， 实现不同类型的零样本生成能力 。 利用该模型 ， 用户可以将指定的体裁、情感、长度、主题、关键词等属性自由组合 ， 无需标注任何样本 ， 便可生成不同类型的文本 。
文章图片
高可信的可控生成预训练
在可信学习方面 ， 针对模型生成结果与真实世界的事实一致性问题 ， 鹏城 - 百度 · 文心通过自监督的对抗训练 ， 让模型学习区分数据是真实的还是模型伪造的 ， 使得模型对生成结果真实性具备判断能力 ， 从而让模型可以从多个候选中选择最可靠的生成结果 ， 显著提升了生成结果的可信度 。
千亿大模型的落地之路怎么走？
大模型不止训练昂贵 ， 推理也很昂贵 ， 而且碳排放问题突出 。 为了实现绿色落地 ， 降低落地成本 ， 研究团队提出了大模型在线蒸馏技术 。 它可以在鹏城 - 百度 · 文心学习的过程中周期性地将知识信号传递给若干个学生模型同时训练 ， 达到蒸馏阶段一次性产出多种尺寸的学生模型的目的 。 与传统蒸馏技术相比 ， 该技术极大地节省了因模型额外蒸馏计算以及多个学生的重复知识传递带来的算力消耗问题 。
推荐阅读
- 水管|柔性泄水管概述、性能参数
- 旗舰|小米 12 Pro 评测：多项「首发」，能否再次成为安卓旗舰「质检员」？
- 参数|CELL+100 细胞制备隔离器，欢迎咨询
- 方面|小米12 Pro将于12月28日发布，主要参数已确认，价格很感人！
- 参数|联想拯救者 Y90 双擎风冷电竞手机官宣，搭载 6.92 英寸 144Hz 屏
- Huawei|多项交互创新，体验更上层楼 华为发布超级智慧笔记本
- Google|Google新增多项COVID-19功能：帮用户快速找到附近检测点和接种点
- 网络|中国移动与华为推出多项5.5G成果，拟将现有5G能力提升十倍
- IT|新款本田奥德赛将于12月27日正式上市 外观内饰有多项变化
- 参数|俄开发能找到血液中癌细胞的新技术