模型|2022前展望大模型的未来，周志华、唐杰、杨红霞这些大咖怎么看？人工智能|问题|唐杰|发展|应用

机器之心发布
机器之心编辑部

岁末年初之际，让我们回顾大模型的过去，展望大模型的未来。

28 日，阿里巴巴达摩院发布 2022 十大科技趋势。其中， “大模型参数竞赛进入冷静期，大小模型将在云边端协同进化”的断言，在 AI 圈备受关注。

文章图片

2021 是大模型爆发之年，我们见证了大模型的惊艳，但也了解了目前大模型的一些局限，如显著的高能耗等问题。
达摩院认为，超大规模预训练模型是从弱人工智能向通用人工智能的突破性探索，解决了传统深度学习的应用碎片化难题，但性能与能耗提升不成比例的效率问题限制了参数规模继续扩张。
接下来，人工智能研究将从大模型参数竞赛走向大小模型的协同进化，大模型向边、端的小模型输出模型能力，小模型负责实际的推理与执行，同时小模型再向大模型反馈算法与执行成效，让大模型的能力持续强化，形成有机循环的智能体系。
周志华、唐杰、杨红霞等多位学界、业界代表性专家，对此发表了评论。
大模型接下来会如何发展？岁末年初之际，让我们回顾大模型的过去，展望大模型的未来。
大小模型将承担不同角色
南京大学计算机科学与技术系主任兼人工智能学院院长周志华

文章图片

大模型一方面在不少问题上取得了以往难以预期的成功，另一方面其巨大的训练能耗和碳排放是不能忽视的问题。个人以为，大模型未来会在一些事关国计民生的重大任务上发挥作用，而在其他一些场景下或许会通过类似集成学习的手段来利用小模型，尤其是通过很少量训练来 “复用” 和集成已有的小模型来达到不错的性能。
我们提出了一个叫做 “学件” 的思路，目前在做一些这方面的探索。大致思想是，假设很多人已经做了模型并且乐意放到某个市场去共享，市场通过建立规约来组织和管理学件，以后的人再做新应用时，就可以不用从头收集数据训练模型，可以先利用规约去市场里找找看是否有比较接近需求的模型，然后拿回家用自己的数据稍微打磨就能用。这其中还有一些技术挑战需要解决，我们正在研究这个方向。
另一方面，有可能通过利用人类的常识和专业领域知识，使模型得以精简，这就要结合逻辑推理和机器学习。逻辑推理比较善于利用人类知识，机器学习比较善于利用数据事实，如何对两者进行有机结合一直是人工智能中的重大挑战问题。麻烦的是逻辑推理是严密的基于数理逻辑的 “从一般到特殊”的演绎过程，机器学习是不那么严密的概率近似正确的 “从特殊到一般”的归纳过程，在方法论上就非常不一样。已经有的探索大体上是以其中某一方为倚重，引入另一方的某些成分，我们最近在探索双方相对均衡互促利用的方式。