当 Ollama 从个人开发环境进入团队服务或生产链路后，性能问题往往不再是“模型能否运行”，而是“并发请求如何排队、显存如何分配、长请求是否拖慢短请求”。如果只增加并发数，却没有容量评估、入口限流和指标监控，系统很容易出现延迟飙升、频繁换模，甚至大量 503 错误。🚀
一、先理解 Ollama 的并发处理机制
Ollama 的并发主要分为两个层次：一是同时加载多个模型，二是同一模型并行处理多个请求。前者受模型体积和可用显存约束，后者还会增加上下文缓存占用。当内存不足以加载新模型时，请求会进入队列，等待已有模型空闲并被卸载后再继续处理。相关机制可参考 Ollama 并发请求说明。
需要特别注意的是，并行数不是越大越好。同一模型的并行请求会扩大上下文相关的内存需求。例如，将并行数提高到 4，同时保留很大的上下文窗口，可能迅速消耗显存，迫使部分计算转移到 CPU，最终出现“并发提高了，整体吞吐反而下降”的情况。
二、用三项参数建立基础容量边界
Ollama 提供了三个与高负载服务密切相关的环境变量：
- OLLAMA_NUM_PARALLEL：控制单个模型可同时处理的最大请求数，适合根据显存余量逐级调整。
- OLLAMA_MAX_LOADED_MODELS：限制同时驻留内存或显存的模型数量，可减少多模型场景下的资源争抢。
- OLLAMA_MAX_QUEUE：设置服务繁忙时允许排队的最大请求数，超过限制后会拒绝新请求，避免队列无限增长。
实践中不要直接套用固定参数。建议从较低并行度开始压测，例如先保持单模型、低并行和有限队列，再逐步增加并发。每次只调整一个变量，并观察吞吐、首字延迟、总延迟、显存占用和错误率的变化，这样才能找到当前模型与硬件组合的稳定区间。⚙️
三、在 Ollama 前增加可控请求队列
仅依赖 Ollama 内部队列，通常难以满足租户隔离、优先级和超时管理需求。更稳妥的做法是在 API 网关或业务服务层增加有界队列，并实现限流、超时、取消和熔断。
- 限制入口并发：根据压测得到的安全并发数发放执行槽位，避免瞬时流量直接冲击推理服务。
- 设置排队超时：请求等待超过业务可接受时间后立即返回，防止用户已经离开但服务仍在消耗资源。
- 支持请求取消：客户端断开连接时，应尽快终止下游生成，释放推理槽位。
- 区分任务优先级：交互式问答优先于离线摘要、批量生成等后台任务，降低用户可感知延迟。
- 限制输出长度：合理设置最大生成长度，避免少量超长请求长期占用执行资源。
队列的目标不是容纳所有流量，而是吸收短时波动。持续过载时，应快速拒绝、降级或转移任务，而不是让请求无限等待。
四、减少模型切换和冷启动开销
多模型混合访问时，频繁加载与卸载会增加等待时间。可以按照模型划分独立实例或节点，让热门模型长期驻留，并将低频模型分配到专用资源池。对于固定业务，尽量统一模型版本、量化规格和上下文配置，减少随机调度造成的显存碎片与换模抖动。
预热也是常见手段。服务启动后先发送一个短请求，使模型提前加载；同时合理设置请求中的 keep_alive，让高频模型保持驻留。若模型种类很多，则应结合访问热度制定淘汰策略，而不是让所有模型永久占用资源。
五、从上下文和批处理角度提升吞吐
上下文长度会直接影响内存需求。官方说明指出，更大的上下文窗口需要更多内存，因此不要为了“兼容所有请求”而统一设置超大值，可参考 上下文长度文档。短问答、分类和信息抽取应采用较小上下文；长文分析则进入独立队列，并设置更严格的并发上限。
对于嵌入、分类或批量摘要任务，可以在业务层聚合小请求，降低连接与调度开销。但生成式任务的输入、输出长度差异较大，盲目批处理可能产生等待放大，因此应按模型、任务类型和长度区间分组。📊
六、建立可观测的压测闭环
Ollama API 响应中包含 total_duration、load_duration、prompt_eval_count、prompt_eval_duration、eval_count 和 eval_duration 等指标，可用于拆分模型加载、提示词处理和输出生成耗时，详见 API 使用量与性能指标。
建议重点关注以下指标：
- 每分钟完成请求数与输入、输出 token 吞吐；
- 首字延迟以及 P50、P95、P99 总延迟；
- 当前执行数、队列长度、排队时长和超时比例；
- 503、客户端取消、熔断与重试次数；
- 模型加载耗时、GPU 利用率、显存占用与 CPU 回退情况。
压测应覆盖稳定流量、突发流量、长短请求混合和多模型切换等场景。若吞吐不再增长，但尾延迟和队列长度持续上升，说明系统已经越过饱和点，此时应降低入口并发，而不是继续扩大内部队列。
总结
Ollama 高负载优化的核心，是在吞吐、延迟与显存之间建立明确边界。先通过 OLLAMA_NUM_PARALLEL、OLLAMA_MAX_LOADED_MODELS 和 OLLAMA_MAX_QUEUE 控制服务容量，再在入口层实现有界队列、限流、超时、取消和优先级调度，最后结合模型驻留、上下文分级与持续压测进行迭代。✅ 真正可靠的推理服务，不是把并发参数调到最大，而是在过载发生时仍能保持可预测、可观测和可恢复。
