有望改写AI未来！NVIDIA全新nGPT使训练速度暴增20倍
快科技10月20日消息，据媒体报道，NVIDIA的最新研究可能彻底改变AI的未来，其研究团队提出了一种名为归一化Transformer（nGPT）的新型神经网络架构 。
这一架构在超球面（hypersphere）上进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，最高可达20倍，同时保持了模型的精度 。
nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数 。
这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测 。
实验结果表明，nGPT在训练时所需的步骤比标准Transformer模型减少了4到20倍，具体加速效果取决于序列长度 。
例如 ， 在1k上下文中 ， 训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍 。
研究人员指出 ， nGPT的优化路径从超球面上的点开始 ， 通过位移来贡献最终的输出预测，其中位移量由MLP和注意力模块定义 。
【有望改写AI未来！NVIDIA全新nGPT使训练速度暴增20倍】这种方法不仅提高了训练速度，还增强了模型的稳定性 。
推荐阅读
- 筑梦新时代。花开向未来怎么书写设计好看
- AI和VR的当前和未来前景
- 未来越野警车的发展趋势是怎样的？
- 未来可能出现的新型发动机型号有什么特点？
- 三星与苹果：新书有望揭示科技巨头之间竞争的完整历史
- 人工智能有望彻底改变软件开发
- 认识亚马逊的回声人工智能的未来就在这里
- 测试和他有可能在一起吗，怎样测试我和男友的未来能不能在一起啊
- UBI Research：可折叠智能手机在未来5年内将继续使用UTG和CPI
- 未来电动汽车电池的能量密度能达到多少？