Google 研究人员、柏克莱大学等专家合作的一项新研究指出，利用「环形注意力」（Ring Attention）这种技术，可打破 AI 模型现在主要面临的记忆体瓶颈，把数百万的文字量放入 AI 模型的资料视窗中，使 AI 模型的输入容量扩增到百万级以上。

Google、柏克莱大学新研究：「环形注意力」可突破 AI 模型记忆体限制 

由於训练和运算 AI 模型 GPU 存在记忆体限制，导致 AI 模型无法瞬间处理大量的字数 /  token 输入。该怎麽实现 AI 对大量数据的高效处理，是全球许多 AI 研究人员都在积极投入的项目。

目前而言，ChatGPT 在 Context Window 一次能够处理的文字输入顶多只有数千字，而较大的 AI 模型单次能够处理的上限大约为数万字（大约是一本书的字数）。

不过，这项限制终於有了新进展。由 Google 研究人员、柏克莱大学、Databricks 技术长等专家本月联合发布的新论文，提出一项称为「环形注意力」的突破性技术，有望根本性的改变人类和这些强大的新科技工具互动的方式。

在 Google DeepMind 工作、同时是柏克莱研究人员的 Hao Liu 表示，环形注意力的技术是基於 2017 年革命性的 Transformer 架构，该架构构成了 ChatGPT 和近年来出现的诸多新模型的基础，例如 GPT-4、 Llama 2，以及 Google 即将推出的 Gemini。

此实验显示，环形注意力能够降低 Transformer 的记忆体需求，使 Transformer 能够训练比先前最先进的记忆体长 500 倍以上的序列，而不必对注意力进行近似，让效率状态大幅跃升。

超大量数据喂入 AI 化为真实，未来可释放 GPU 的运作、节省数百万美元

研究人员 Liu 解释，由於现代 AI 模型需要 GPU 储存各种内部输出，接着重新计算，然後再传递给下一个 GPU。这个过程通常需要大量的记忆体容量支援，而这些记忆体并不总是足够的。本次研究目标即是突破此障碍。

研究团队提出了一种新的方法，将 GPU 组成一个环形，让这些 GPU 彼此传递处理过的数据，同时接收来自其他邻近 GPU 的相似数据块，这实际上能消除单一设备对记忆体的限制。

透过这样的循环，代表我们能够一次把数百万字输入到 AI 模型的资料视窗，这远远高过以往的门槛。从理论上讲，未来可以一次性把多本书籍内容、影片、甚至整个程式码库喂入，AI 模型将能够分析这些素材并产生连贯的回应。

就效果举例，假如你拥有 130 亿个参数的一个 AI 模型，并且依赖 256 个 NVIDIA A100 GPU来运算，在善用环形注意力方法之下，可处理的 token 长度将能够从 16,000 个提升至 400 万个。光是透过这样的逻辑，企业在 AI 模型训练就有机会省下数百万美元。

新技术会降低市场对 NVIDIA AI 晶片需求？还有什麽可预知的应用范畴？

而这项新发现也暗示了一个重要的问题：如果我们可以使用较少的 GPU 做更多的事情，这是否代表市场对 NVIDIA 等 AI 晶片供应商的需求会减少？

针对此假设，Liu 倒是不这麽认为，相反的，开发人员和技术公司很可能会尝试使用环形注意力这种新技术来实现更大、更有野心的目标。

随着 AI 领域革命性的进步化为真实，研究团队表示，期待未来研究持续探讨最大序列长度和最大电脑效能，例如大型视讯 – 音讯 – 语言模型（video-audio-language models）、程式码库理解和生成，以及理解基因序列等科学数据等创新性的可能应用。

责任编辑：Jocelyn
核稿编辑：Sisley

快加入 INSIDE Google News 按下追踪，给你最新、最 IN 的科技新闻！