IT 之家 1 月 20 日音书，谷歌商榷院发文，公布了" Titans "系列模子架构，相应模子架构最大的特质是吸收"仿生盘算"，纠合了短期回顾、永久回顾和留神力机制，援救逾越 200 万个 Token 的险阻文长度，咫尺干系论文已发布在 arXiv 上（点此看望），谷歌议论将来将 Titans 干系本事开源。

咫尺业界流行的 Transformer 模子架构固然在大多量场景进展优秀，但其险阻文窗口（Window）长度的抛弃，赓续仅为几千到几万个 Token，这使得它们在处理长文本、多轮对话或需要大限度险阻文回顾的任务中，频频无法保抓语义连贯性和信息准确性。

而谷歌这一 Titans 系列模子架构通过引入深度神经永久回顾模块（Neural Long-Term Memory Module）灵验处分了相应问题，其盘算灵感堪称来自东说念主类的回顾系统，纠合了短期回顾的快速反映与永久回顾的抓久脾气，并通过留神力机制来防备实施现时的险阻文（防备于用户即时输入的辅导词，并保留关于以往辅导词的准确回顾）。

IT 之家参考论文获悉，Titans 具有三种架构盘算变体，分歧是 Memory as a Context（MAC）、Memory as a Gate（MAG）和 Memory as a Layer（MAL），不错阐发不同的任务需求整合短期与永久回顾。其中" MAC "架构变体将永久回顾当作险阻文的一部分，允许留神力机制动态纠合历史信息与现时数据，稳当处理需要详备历史险阻文的任务。" MAG "架构变体则阐发任务需求，调遣及时数据与历史信息的进攻性比例，专注于现时最干系的信息。

谷歌重心强调了" MAL "架构变体，该架构主要将回顾模块盘算为深度收集的一层，也即是从模子盘算层面，径直将用户的历史记载和当今输入的险阻文本体进行固定压缩，之后交由模子的留神力模块处理，因此遵守相对较高，但输出本体后果不如" MAC "和" MAG "变体。

谷歌宣称正规赌足球的软件，Titans 系列模子架构在长序列处理任务中的进展显着优于现存模子，不管是谈话建模还是时候序列猜度，Titans 在准确性和遵守上齐展现了"压倒性上风"，以致在某些场景中杰出了如 GPT-4 等具寥落十倍参数的模子。