边缘部署

在2025年，开发者转向本地部署大模型以实现更快响应、更强隐私保护和更自由定制能力。文章介绍了两种方法：RAG依赖外部知识库进行问答，而CAG通过上下文记忆与智能缓存构建本地智能体。CAG适合多轮对话场景，通过vLLM加速推理和Streamlit提供轻量级界面简化开发过程。