Transformer架构优化

本文介绍谷歌最新的Infini-Transformer模型，该模型通过Infini-attention机制扩展传统Transformer处理无限长输入的能力。文章探讨了技术细节、性能比较及未来应用方向。 引言 从2017年的开创性论文《Attention is A…