参数|AI大模型还能走多远？( 三 )
大模型的卡点 大模型性能取得的一系列突破的同时 ， 其背后逐渐凸显的卡点也开始备受社会关注 。
首先 ， 打造大模型并非易事 ， 需要消耗庞大的数据、算力、算法等各种软硬件资源 。 而短期看 ， 这种巨大的资源消耗 ， 不仅对于企业和科研机构来说 ， 无疑是一项沉重的负担 ， 更与全球节能环保以及我国提出的双碳（碳达峰、碳中和）目标 ， 是有所矛盾的 。 如何在有限资源的条件下实现大模型的低能耗进化 ， 是一个不小的挑战 。
其次 ， 大模型尚缺乏统一的评价标准和模块化流程 。 大模型的研发尚处于初步探索阶段 ， 市场中有条件的企业和机构纷纷展开角逐的同时 ， 不可避免地会造成高质量的集中资源的再度分化 ， 进而产生各种烟囱式的评判标准、分散的算法模型结构 ， 进而可能导致的割裂的探讨评价体系 。
再次 ， 创新力度不足 。 大模型应用价值取决于其泛化能力 ， 而不是参数规模越大越好 。 大模型是否优秀 ， 不仅依赖数据的精度与网络结构 ， 也是对其与行业结合软硬件协同能力的比拼 。 目前业界过度强调高参数集、强算力模型的研发 ， 而忽视了网络模型的创新、与行业的协同创新等问题 。
最后 ， 落地应用缓慢 。 业界人士普遍认为：AI 大模型最大挑战在于 ， 如何让更多行业和场景真正付诸落地 。 目前看应用仍处于企业内部项目为主 。 如何改变这种闭门造车的局面 ， 如何快速适配给应用场景 ， 才是大模型的最大价值和难点 。
大模型何去何从 1、大模型参数红利仍在
从百万、千万、亿再到千亿 ， 万亿 ， 大模型随着参数规模的增加 ， 性能也如研究者预期一样 ， 一直在不断接近人类水平 。 可以预见 ， 未来一段时间 ， 大模型的规模依旧有待提升 。 可能出现的变化是 ， 人们不再仅仅增加算力 ， 而更多是通过并行计算、软硬件协同等技术的支撑 。 值得关注的是 ， 由于实际落地方面的考虑 ， 一些小参数模型也在悄然兴起 。
2、大模型走向多领域通用
大模型的初心 ， 是令训练出来的模型具备不同领域的认知力 ， 既能有泛化的能力 ， 又能有自我进化的能力 。 比如NLP 领域内的大模型 ， 复用到 CV 领域已被得到极有效的证实；GPT-3 同样展现出了从海量未标记数据中学习 ， 且不限于某一特定任务的通用能力 。 近期兴起的多模态预训练大模型就是最好的证明 。
大模型的未来需要创新 ， 大模型将致力于构建通用的人工智能算法底层架构 ， 将模型的认知力从单领域泛化到多领域融合 ， 在不同场景中自我生长 ， 向可持续、可进化的方向发展 。
3、更易用的开源平台
大模型开放开源是大势所趋 ， 这也是不少机构所致力推动的 。 微软、IDEA、智源研究院等大多机构的开源还处于浅层次 ， 只是能调用算法包、排队等待训练的状况 。 未来的大模型要走出实验室 ， 就需要走向算法体系、标准体系、基础平台、数据集、工程化测试等全方位的开放 。
推荐阅读
- 苹果|关机后你的手机还能被定位，是真的咩？
- |电脑杀毒，原来还能“望闻问切”？
- 青少年|短视频外，科普还能怎么“普”？
- 功能|索尼公布了PSVR 2的技术参数，HTC将推出一款腕式追踪器 | VR一周要闻
- 直播|创作激励“姗姗来迟”，视频号“还能饭否”？
- AI|日本动漫AI让草图实时变身二次元人物 还有512种参数可调
- 参数|【相机】一亿两亿大像素方向错了吗？曝安卓机皇还会用
- 视点·观察|王老吉“改姓”：李老吉售价涨了1.5倍，凉茶还能变热？
- 媒体滚动|王老吉“改姓”：李老吉售价涨了1.5倍，凉茶还能变热？
- 微博|红米K50系列参数曝光，“祖传神U”又被抬出来了？！