4月19日 ， 阿里巴巴达摩院发布超大规模语言模型PLUG ， 该模型参数规模达270亿 ， 是目前全球规模最大的中文纯文本预训练语言模型 。 PLUG集良好的语言理解与创造性文本生成能力于一身 ， 在小说仿写、诗歌生成、智能问答等长文本生成领域表现突出 ， 其目标是通过超大模型的能力 ， 大幅提升中文自然语言技术在各类任务中的表现 。
文章图片
4月19日 ， PLUG刷新CLUE分类榜单纪录 ， 排名仅次于“人类”
近年来 ， 大规模预训练模型成为人工智能领域的重要趋势 。 训练拥有“大智慧”的“大模型” ， 展现了一条通向通用人工智能的可能路径 。 去年5月 ， 海外公司OpenAI发布能写小说、聊天、编曲谱、写代码的GPT-3模型 ， 将这一浪潮在全球范围内推向新高 。 此后 ， 中文领域同类模型的训练进程备受关注 。 与GPT-3类似 ， 阿里达摩院本次发布的PLUG模型有望广泛应用于文本生成领域 ， 成为“万能写作神器” 。 更重要的是 ， 此类超大模型拥有极强的通用性 ， 被认为或将成为人工智能时代新型基础设施之一 。
较GPT-3改进之处在于 ， PLUG集成了达摩院自研的语言理解及语言生成双模型 ， 并通过构建输入文本双向理解能力 ， 显著提升了输出文本的相关性 。 在语言理解任务上 ， PLUG以80.614分刷新了业内权威的中文语言理解评测基准CLUE分类榜单历史纪录；在语言生成任务上 ， PLUG多项应用数据较业内最优水平提升了8%以上 。
文章图片
据了解 ， PLUG采用了1TB以上高质量中文文本训练数据 ， 涵盖新闻、小说、诗歌、问答等广泛类型及领域 。 接下来 ， PLUG将扩大参数规模至2000亿级 ， 并进一步提升文本生成质量 。 在超大规模预训练模型领域 ， 除发布以中文为核心的PLUG外 ， 达摩院、阿里云计算平台团队还联合智源研究院、清华大学发布了面向认知的超大规模新型预训练模型“文汇” ， 以及联合清华大学发布了超大规模多模态预训练模型“M6” 。
【文本|阿里达摩院发布中文领域最大规模语言模型 AI可仿写小说】阿里巴巴达摩院语言技术实验室负责人司罗表示 ， “达摩院团队将进一步攻克自然语言处理领域科研难题 ， 完善中文及跨语言人工智能基础设施 ， 让AI没有难懂的语言 ， 并探索通用人工智能之路 。 ”
推荐阅读
- 软件和应用|iOS/iPadOS端Telegram更新：引入隐藏文本、翻译等新功能
- 容器|技术向：如何通过阿里云盘备份群晖 NAS 数据
- 风险|筛选风险词、用实体类型推断限售商品，阿里安全夺冠知识图谱大赛
- 趋势|达摩院发布2022年十大科技趋势
- Science|达摩院2022十大科技趋势发布：人工智能将催生科研新范式
- 通信技术|浙大最新研究“空气输入法”：空中动动手指就能给智能手表输入文本
- 趋势|阿里巴巴达摩院发布 2022 十大科技趋势：硅光芯片等上榜
- 趋势|阿里巴巴达摩院2022十大科技趋势发布：人工智能或将解决风光电并网难题
- 技术|《达摩院2022十大科技趋势》发布
- Science|达摩院发布2022十大科技趋势