有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍

10月20日消息,据媒体报道,NVIDIA的最新研究可能彻底改变AI的未来,其研究团队提出了一种名为归一化Transformer(nGPT)的新型神经网络架构。

这一架构在超球面(hypersphere)上进行表示学习,能够显著提升大型语言模型(LLM)的训练速度,最高可达20倍,同时保持了模型的精度。

nGPT架构的核心在于将所有向量,包括嵌入、多层感知机(MLP)、注意力矩阵和隐藏状态,归一化为单位范数。

这种归一化处理使得输入的token在超球面表面上移动,每一层模型都通过位移来贡献最终的输出预测。

实验结果表明,nGPT在训练时所需的步骤比标准Transformer模型减少了4到20倍,具体加速效果取决于序列长度。

例如,在1k上下文中,训练速度提高了4倍;在4k上下文中,提高了10倍;而在8k上下文中,更是提高了20倍。

研究人员指出,nGPT的优化路径从超球面上的点开始,通过位移来贡献最终的输出预测,其中位移量由MLP和注意力模块定义。

这种方法不仅提高了训练速度,还增强了模型的稳定性。

有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍

以上就是关于【有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍】的相关消息了,希望对大家有所帮助!

特别声明:以上文章内容仅代表作者本人观点,不代表支点财经观点或立场。发布者:支点财经,转转请注明出处:https://www.eiying.cn/2024/10/20/18082.html

(0)
支点财经的头像支点财经
上一篇 2024年10月20日 下午5:18
下一篇 2024年10月20日 下午5:19

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信