指数词大模型上下文窗口长度突破10万?新研究揭示RoPE位置编码的秘密大家好,今天我要向大家介绍一项令人振奋的研究,这项研究来自复旦大学和上海人工智能实验室,他们找到了一种方法,可以让大型语言模型的上下文窗口长度从原本的1.6万tokens延长到100万tokens!这个研究的 …赞 (0)大神网 - 王大神2023-10-22阅读(197)标签:RoPE位置编码 / 临界维度 / 外推能力 / 大模型 / 缩放法则