支持 100 万 Tokens 上下文，阿里通义千问推出 Qwen2.5-1M 开源模型

感谢本站网友 Skyraver 的线索投递！

本站 1 月 27 日消息，阿里通义千问今日宣布，正式推出开源的 Qwen2.5-1M 模型及其对应的推理框架支持。

本站从官方介绍获悉，通义千问本次发布了两个新的开源模型，分别是Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M，这是通义千问首次将开源的 Qwen 模型的上下文扩展到 1M 长度。

为了帮助开发者更高效地部署 Qwen2.5-1M 系列模型，Qwen 团队完全开源了基于 vLLM 的推理框架，并集成了稀疏注意力方法，使得该框架在处理 1M 标记输入时的速度提升了 3 倍到 7 倍。

长上下文任务

在上下文长度为 100 万 Tokens 的大海捞针（Passkey Retrieval）任务中，Qwen2.5-1M 系列模型能够准确地从 1M 长度的文档中检索出隐藏信息，其中仅有 7B 模型出现了少量错误。



对于更复杂的长上下文理解任务，选择了 RULER、LV-Eval 和 LongbenchChat 测试集。





从这些结果中，Qwen 得出以下几点关键结论：

显著超越 128K 版本：Qwen2.5-1M 系列模型在大多数长上下文任务中显著优于之前的 128K 版本，特别是在处理超过 64K 长度的任务时表现出色。

性能优势明显：Qwen2.5-14B-Instruct-1M 模型不仅击败了 Qwen2.5-Turbo，还在多个数据集上稳定超越 GPT-4o-mini，为长上下文任务提供了开源模型的选择。

短序列任务



可以发现：

Qwen2.5-7B-Instruct-1M 和 Qwen2.5-14B-Instruct-1M 在短文本任务上的表现与其 128K 版本相当，确保了基本能力没有因为增加了长序列处理能力而受到影响。

与 GPT-4o-mini 相比，Qwen2.5-14B-Instruct-1M 和 Qwen2.5-Turbo 在短文本任务上实现了相近的性能，同时上下文长度是 GPT-4o-mini 的八倍。

• 模型链接：https://www.modelscope.cn/collections/Qwen25-1M-d6cf9fd33f0a40

• 技术报告：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf

• 体验链接：https://modelscope.cn/studios/Qwen/Qwen2.5-1M-Demo