在本地部署大模型时，Ollama 的“开箱即用”体验很友好，但当应用需要在对话模型、代码模型、视觉模型之间频繁切换时，内存与显存管理就会成为关键问题。模型卸载不及时会造成显存长期占用；过早卸载又会反复触发冷启动，增加请求延迟。本文结合 Ollama 提供的模型驻留机制，梳理一套可落地的热加载与内存释放优化方法。🚀
一、先理解模型为什么没有立即释放
Ollama 接到推理请求后，需要将模型权重及运行所需缓存加载到 GPU 显存或系统内存。请求结束不代表模型马上被卸载，因为保留一段驻留时间可以让后续请求直接复用已经加载的模型，避免重复读取权重。
控制这一行为的核心参数是 keep_alive。根据 Ollama API 文档，该参数用于指定请求完成后模型继续驻留内存的时间。默认设置适合普通交互，却未必适合模型频繁切换、显存容量有限或任务队列高度动态的场景。
优化的重点不是“尽快释放所有模型”，而是在冷启动成本与内存占用之间找到平衡。
二、为不同类型的模型设置驻留策略
实际项目中，不建议所有模型共用同一个驻留时间。可以先按照访问频率进行分类：
- 高频主模型：例如持续提供聊天服务的模型，可设置较长的 keep_alive，减少重复加载。
- 间歇模型：例如代码分析或文档总结模型，可保留数分钟，兼顾复用概率与资源回收。
- 一次性模型：例如临时评测、批处理或低频视觉任务，应在响应完成后立即卸载。
调用生成接口时，可以在请求体中加入 keep_alive。例如设置为“15m”，表示任务结束后继续驻留十五分钟；设置为 0，则表示请求完成后尽快卸载。若希望模型长期保留，可使用文档支持的持续驻留配置，但这类设置应谨慎用于显存紧张的设备。⚙️
主动卸载不再使用的模型
当业务已经明确切换到另一个模型时，与其等待驻留时间自然到期，不如主动释放旧模型。可向 /api/generate 发送模型名称、空提示内容并将 keep_alive 设为 0。这样做比仅在应用层删除会话对象更有效，因为会话变量消失并不等于服务端模型权重已经退出内存。具体行为可参考 生成接口说明。
在“模型 A 完成任务后立即转模型 B”的流水线中，推荐采用以下顺序：
- 等待模型 A 的流式响应完整结束，避免仍有生成任务占用运行实例。
- 向模型 A 发送卸载请求，并检查接口是否正常返回。
- 确认资源状态后，再对模型 B 发起预热请求。
- 模型 B 使用结束后，根据后续任务概率决定保留或释放。
三、用预热代替被动冷启动
热加载优化不能只关注“卸载”，还应管理“何时加载”。如果系统能够提前知道下一项任务所需模型，可以发送一个内容极短的预热请求，让模型在正式流量到来前完成加载。正式请求便不必承担全部初始化等待时间。🔥
预热请求需要设置合理的 keep_alive，否则模型刚完成预热便可能被释放。对于固定流程，可在当前步骤执行期间预加载下一模型；但在显存只能容纳一个模型时，不要并行预热，否则可能出现内存不足、模型部分转移到 CPU，甚至因资源竞争让整体速度下降。
四、限制并发与上下文长度
频繁切换时的内存峰值不一定完全来自模型权重。并发请求、上下文窗口和运行缓存同样会增加占用。上下文越长，通常需要的内存越多，因此不应为了“以后可能用到”而统一配置超大窗口。Ollama 的 上下文长度说明也明确指出，增加上下文长度会提高模型运行所需内存。
建议根据任务单独设置上下文：短问答使用较小窗口，长文分析再按需提高；同时在应用入口增加队列或信号量，避免多个大模型在切换瞬间同时加载。对于单卡设备，串行化大型模型任务往往比无约束并发更稳定。
五、建立可观测的释放检查流程
优化不能只凭任务结束后的主观判断。可使用 ollama ps 查看当前已加载模型、处理器分布、上下文长度及预计驻留时间。官方 FAQ说明，PROCESSOR 列可以帮助判断模型位于 GPU、CPU，还是分布在两者之间。
排查时可以同时观察系统工具：NVIDIA 环境使用 nvidia-smi 查看显存和进程，CPU 模式则结合系统进程监控检查常驻内存。需要注意，驱动或内存分配器可能保留部分缓存，因此工具显示的占用未必在卸载后立即归零。判断是否释放成功，应以模型是否仍出现在运行列表、后续模型能否正常加载以及长期占用是否稳定为依据。
六、一套实用的生产优化方案
- 为每个模型建立访问频率、模型大小和预期延迟档案。
- 高频模型延长驻留时间，低频模型在任务完成后主动卸载。
- 在调度层记录当前模型，防止重复发送无意义的加载请求。
- 模型切换采用“结束旧请求、卸载旧模型、预热新模型”的明确状态机。
- 按业务需求设置上下文长度，并对大模型请求实施并发限制。
- 持续记录加载耗时、首次响应耗时、显存峰值和卸载结果，定期调整 keep_alive。
- 出现长期无法回收、进程异常或驱动错误时，再考虑重启 Ollama 服务，而不是把重启作为常规切换手段。
总结
Ollama 在热加载场景中的内存优化，本质上是一项模型生命周期管理工作。合理使用 keep_alive、在确定不再复用时主动卸载、提前预热下一模型，并限制并发与上下文规模，可以同时改善显存占用和切换延迟。✅ 最佳配置没有统一答案，应根据设备容量、模型大小和真实访问规律持续观察与调整，让“该留的模型保持热状态，该释放的模型及时退出”。
