基于Prompt Caching的高效长对话设计

摘要

本文档详细阐述了在大模型应用中，如何通过核心的“前缀匹配缓存”机制来优化长对话和多轮交互Agent的性能与成本。其核心思想是将信息按稳定性排序，通过消息传递变化而非修改稳定结构，并介绍了包括延迟加载工具、缓存安全分叉在内的五条黄金法则。该设计哲学强调将缓存命中率作为核心架构约束，而非事后优化，是构建高效大模型应用的关键路径。

核心要点

• 核心原理是前缀匹配缓存，重复发送的prompt前缀可复用计算结果。
• 五大黄金法则：1) 按稳定性排序prompt结构；2) 用消息传递变化，不修改稳定prompt；3) 保持会话内模型和工具集稳定；4) 延迟加载工具，先放存根；5) 压缩对话时使用缓存安全的分叉。
• 设计哲学是将最大化缓存命中率作为核心架构约束，从事后优化转变为事前设计。
• 以Claude Code的Plan Mode为例，说明如何在不破坏缓存前缀的前提下扩展功能。

关键实体

- Prompt Caching (concept) ⚠️建议建页

- 前缀匹配缓存 (concept) ⚠️建议建页

- Claude Code (product) ⚠️建议建页

- Anthropic (company) ⚠️建议建页

相关内容

• [[llm上下文窗口与个人知识库构建karpathy方案解析.md]]
• [[个人知识库_v1v2_改造方案.md]]
• [[开发规范备忘docx处理与argparse安全访问.md]]
• [[2026-04-02_发布系统升级与视频流程优化工作日志.md]]

建议新建页面

• [[Prompt Caching（前缀匹配缓存）]] — 作为本文的核心技术原理，是大模型应用优化的基础概念，出现频率高，值得独立成文深入阐述其机制、API支持及应用场景。
• [[Claude Code]] — 作为Anthropic推出的AI编程助手产品，是本文实践经验的主要来源，具备独立百科页面的价值。
• [[Agent应用架构设计]] — 本文所阐述的缓存优化策略是构建高效Agent应用（如长对话、多轮交互）的关键，该主题可作为通用架构指南进行扩展。
• [[缓存安全的分叉]] — 作为解决长对话压缩与缓存复用矛盾的具体技术方案，具有明确的实践价值，可详细说明其设计与实现。

---

> 编译时间: 2026-06-10 05:59 | 来源: `AI技术/prompt-caching-design-principles.md`