阿里发布Qwen2.5-Turbo，支持100万Tokens上下文！

添加书签

AIGC开放社区
2024-11-21

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

阿里巴巴重磅发布了Qwen2.5-Turbo 版本。

为了满足用户和开发者的需求，阿里在Qwen2.5-Turbo 版本，将上下文从之前的128K扩展至100万tokens，相当于大约100万个英文单词或150万个汉字，足以涵盖10部长篇小说、150小时的演讲稿或3万行代码，使得模型的整体理解、生成能力获得大幅度提升。

在线demo：https://www.modelscope.cn/studios/Qwen/Qwen2.5-Turbo-1M-Demo

这种百万级上下文能力，使Qwen2.5-Turbo在处理复杂长文本任务时表现出色，例如，在大海捞针任务中，能够完美捕捉所有隐藏的数字，显示出在超长上下文中捕捉细节信息的强大能力。

Qwen2.5-Turbo还通过采用稀疏注意力机制，显著提高了推理速度，将生成首个token的时间从4.9分钟减少到了68秒，实现了4.3倍的加速，这意味着在实际应用中，能更快地响应用户的请求。

以理解长篇小说为例，Qwen2.5-Turbo能够处理包含690k tokens的三部《三体》系列小说，并提供英文的剧情摘要，这展示了它在深度理解长文本和跨语言摘要方面的强大能力。

尽管处理能力大幅提升，Qwen2.5-Turbo的价格却保持不变，为0.3元/1M tokens，用户可以以相同的成本处理更多的tokens，即3.6倍于GPT-4o-mini的tokens数量。

在扩展上下文长度的同时，Qwen2.5-Turbo几乎不影响短文本任务的能力，在短文本基准测试中，它在大多数任务上显著超越了之前上下文长度为1M tokens的开源模型，并且与GPT-4o-mini和Qwen2.5-14B-Instruct模型相比，在短文本任务性能接近的同时，支持8倍长度的上下文。

目前，Qwen2.5-Turbo主要通过API来使用，方式、标准和Qwen API相同，并兼容OpenAI的API。

获取API Key：首先，您需要在阿里云大模型服务平台注册并获取您的API Key。这个密钥是调用Qwen 2.5 Turbo API所必需的认证信息。

API地址：https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm

安装依赖：如果打算在Python环境中使用Qwen 2.5 Turbo，需要先安装OpenAI库。可以通过运行pip install openai命令来完成安装。

接下来，我们将通过一个简单的Python脚本示例来展示如何使用Qwen 2.5 Turbo的API。这个例子中，我们将读取一个包含长文本的文件，然后请求Qwen 2.5 Turbo对该文本进行总结。