微信关注,获取更多

外推能力

指数词

大模型上下文窗口长度突破10万?新研究揭示RoPE位置编码的秘密

大家好,今天我要向大家介绍一项令人振奋的研究,这项研究来自复旦大学和上海人工智能实验室,他们找到了一种方法,可以让大型语言模型的上下文窗口长度从原本的1.6万tokens延长到100万tokens!这个研究的 …
赞 (0)阅读(197)