在本地部署大模型后，真正棘手的问题往往不是“能否运行”，而是如何回答这些问题：当前使用的是哪个模型版本？某次效果提升来自模型、参数还是提示词？出现回归后能否快速定位并复现？Ollama 负责便捷地运行本地模型，MLflow 则可以补齐实验记录、链路追踪和版本管理能力。二者结合，能够形成一套兼顾隐私、成本与可追溯性的本地大模型实验流程。🚀
一、先明确两者的职责边界
Ollama 适合承担模型下载、运行和本地 API 服务等工作。模型通常通过名称与标签进行区分，例如同一模型的不同参数规模或自定义版本。MLflow 不负责替代 Ollama 的推理服务，而是围绕每次调用记录输入、输出、参数、耗时和实验标签，并管理提示词及应用层模型版本。
因此，实践中不必把 Ollama 的模型文件重复上传到 MLflow。更轻量的方式是记录模型名称、标签、摘要信息、Modelfile 内容或其版本标识，同时将推理调用方式封装为可复现的应用组件。这样既能避免复制大型权重文件，也能明确某次实验依赖的真实运行环境。
二、搭建本地追踪环境
准备工作包括安装并启动 Ollama、拉取所需模型，以及安装 MLflow 和 OpenAI Python SDK。随后启动 MLflow Tracking Server，并为项目创建独立实验。Ollama 提供兼容 OpenAI API 的本地端点，因此可以借助 OpenAI SDK 调用，再由 MLflow 自动捕获调用链路。具体集成方式可参考 MLflow 的 Ollama 追踪文档。
安装依赖：pip install mlflow openai
启动服务：mlflow server
启动模型：ollama run llama3.2:1b
本地接口：来源链接
Python 程序中先调用 mlflow.set_tracking_uri 指向本地服务，再使用 mlflow.set_experiment 设置实验名称，并通过 mlflow.openai.autolog() 开启自动追踪。初始化 OpenAI 客户端时，将 base_url 设置为 Ollama 的本地接口，api_key 可填写占位字符串。完成后，普通的聊天补全请求就会进入 MLflow 实验。
三、为本地模型建立可识别的版本记录
仅记录“用了某个模型”还不够。建议每次运行至少保存以下信息：
- 模型标识：完整记录模型名称与标签，不使用容易变化的模糊别名。
- 运行参数：记录 temperature、seed、上下文长度和最大输出长度等配置。
- 构建信息：保存 Modelfile、基础模型来源及自定义参数说明。
- 环境信息：记录 Ollama 版本、操作系统、硬件类型和项目代码提交号。
- 业务标签：增加任务类型、数据集版本、负责人和实验目的等标签。
可以将这些信息写入 MLflow Run 的参数和标签中。若应用层还包含检索、格式化、后处理或工具调用，可进一步封装为 MLflow Model，并注册到 Model Registry。此时注册的不是单纯权重副本，而是一套“如何调用指定 Ollama 模型”的可部署逻辑。测试通过后再设置候选、预发布或生产别名，方便回滚与切换。📦
四、把提示词当作正式实验资产
提示词经常被直接写进代码，修改后既缺少版本号，也难以比较效果。更稳妥的做法是将系统提示词、用户模板和变量定义统一登记，并为每次修改添加提交说明。MLflow Prompt Registry 支持提示词版本、别名、变量模板和版本对比，可参考 Prompt Registry 文档。
例如，为“知识库问答”创建一个固定名称的提示词，首个版本要求模型根据资料作答，第二个版本增加“资料不足时明确说明”，第三个版本再约束输出结构。应用程序不直接绑定具体版本号，而是读取 candidate 或 production 别名。这样，提示词升级不需要修改核心业务代码，出现异常也可以快速切回旧版本。
五、设计可比较的提示词实验
提示词实验不能只依赖主观阅读。建议准备一组不包含敏感信息的固定测试样本，并保持模型版本、推理参数和输入数据不变，每次只调整一个主要变量。常见观察指标包括：
- 回答是否正确覆盖参考要点；
- 是否严格遵守格式和长度要求；
- 资料不足时是否避免无依据扩展；
- 端到端耗时是否明显变化；
- 相同输入多次运行时是否稳定。
MLflow 的追踪记录可以保存提示词、补全结果、模型名称、延迟、令牌使用情况以及异常信息。对于本地端点，是否获得完整令牌统计还取决于所用版本和调用链路，因此评估脚本应允许相关字段为空，避免把缺失值误判为零。
六、推荐的落地工作流
团队可以采用“开发、评估、注册、发布”四阶段流程：开发阶段在 Ollama 中创建或拉取带明确标签的模型；评估阶段由 MLflow 记录模型、提示词和参数组合；注册阶段将表现合格的提示词版本与应用模型关联；发布阶段仅提升别名，不随意覆盖历史版本。整个过程中，每个实验都应关联代码提交号和测试集版本，确保结果能够复现。🔍
还要注意，MLflow 中可能保存用户输入和模型输出。在真实项目里，应对个人信息、访问令牌和内部文档内容进行脱敏，并限制 Tracking Server、制品存储和数据库的访问权限。本地运行并不等于天然安全，日志同样属于需要治理的数据资产。
总结
Ollama 与 MLflow 的组合重点不在于增加一层工具，而在于建立清晰的实验证据链：Ollama 提供稳定的本地推理入口，MLflow 记录模型标识、运行参数、提示词版本和调用结果。只要坚持完整标记版本、控制单一变量、使用固定测试集并保留发布别名，就能让本地大模型实验从“凭感觉调参”转变为可比较、可复现、可回滚的工程流程。✅
