Anthropic API新增提示缓存功能：成本降低90%，延迟降低85%

添加书签

AIGC开放社区
2024-08-17

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

著名大模型平台Anthropic的API新增提示缓存（Prompt Caching）功能，可以帮助开发人员轻松缓存API调用之间经常使用的上下文，同时能将长提示的成本降低90%，延迟降低85%。

目前，新的API提示缓存功能已经支持Claude 3.5 Sonnet 和 Claude 3 Haiku模型，很快会也会支持Claude 3 Opus。

提示缓存的工作原理非常简单，当用户发送一个启用提示缓存的请求时，系统首先检查提示前缀是否已经从最近的查询中缓存。

如果找到了，它就使用缓存版本，从而减少了处理时间和成本；如果没有找到，它就处理完整的提示并缓存前缀以供将来使用。

这对于包含许多示例的提示、大量的上下文或背景信息、具有一致指令的重复任务、以及长多轮对话都非常有用。缓存的生命周期为5分钟，每次使用缓存内容时都会刷新。

所以，提示缓存功能特别适用于需要大量上下文的场景，例如，开发AI Agent、编码助手、大型文档助手、详细指令集的共享，以及生成式AI搜索等。

开发者通过提示缓存可以减少长时间对话的成本和延迟，改善自动完成和代码库问答，将完整的长篇材料纳入提示而不增加响应延迟，分享广泛的指令和示例以微调响应，以及提高多轮工具调用和迭代更改场景的性能。

用一个具体的例子来为大家解读一下提示缓存是如何实现的，假如我们使用Messages API，并且整个《傲慢与偏见》的文本通过cache_control参数被缓存。

这样，就可以在多个API调用中重用这个大文本，而不需要每次都重新处理它。只需更改用户消息，就可以在利用缓存内容的同时，提出关于这本书的各种问题，从而实现更快的响应和提高效率。

如果在提示缓存中遇到意外行为，确保跨调用的缓存部分是相同的，检查调用是否在5分钟的缓存生命周期内进行，并验证tool_choice.type和图像使用在调用之间是否保持一致。需要注意的是，tool_choice.type的更改或提示中任何地方图像的存在/缺失都将使缓存失效，需要创建新的缓存条目。

开发者还可以监控缓存性能，使用API响应字段中的usage来跟踪缓存创建和读取的token数量。根据实际使用场景，可以定制不同的前缀缓存策略。