Google 研究人员、柏克莱大学等专家合作的一项新研究指出，利用「环形注意力」（Ring Attention）这种技术，可打破 AI 模型现在主要面临的记忆体瓶颈，把数百万的文字量放入 AI 模型的资料视窗中，使 AI 模型的输入容量扩增到百万级以上。

Google、柏克莱大学新研究：「环形注意力」可突破 AI 模型记忆体限制 

由於训练和运算 AI 模型 GPU 存在记忆体限制，导致 AI 模型无法瞬间处理大量的字数 /  token 输入。该怎麽实现 AI 对大量数据的高效处理，是全球许多 AI 研究人员都在积极投入的项目。

目前而言，ChatGPT 在 Context Window 一次能够处理的文字输入顶多只有数千字，而较大的 AI 模型单次能够处理的上限大约为数万字（大约是一本书的字数）。

不过，这项限制终於有了新进展。由 Google 研究人员、柏克莱大学、Databricks 技术长等专家本月联合发布的新论文，提出一项称为「环形注意力」的突破性技术，有望根本性的改变人类和这些强大的新科技工具互动的方式。

在 Google DeepMind …