当本地知识库从几万条文本扩展到数百万条向量时，单纯把嵌入结果保存在内存或普通文件中，往往会遇到检索变慢、资源占用升高和数据隔离困难等问题。Ollama负责在本地生成文本向量，Milvus负责向量存储、近似最近邻检索与索引管理，两者组合后可以形成一套数据不必离开内网、模型可控、能够横向扩展的检索服务。🚀
一、整体架构与数据链路
推荐将系统拆分为文档处理、向量生成、向量存储和检索服务四层。文档进入系统后，先完成格式解析、清洗、去重和分块；随后调用Ollama的嵌入接口生成向量；再将向量、文本片段、文档编号、租户、时间和类别等字段写入Milvus。查询时沿用同一嵌入模型生成查询向量，在指定分区中执行Top-K检索，最后返回原文或交给本地大模型完成RAG回答。
关键原则：入库与查询必须使用同一嵌入模型和相同的文本预处理规则，否则向量空间不一致，检索质量会明显下降。
二、使用Ollama生成本地向量
部署Ollama后，可拉取适合中文或多语言语义检索的嵌入模型，并通过“POST /api/embed”提交单条文本或文本数组。该接口支持批量输入，返回对应的向量数组；官方说明还指出，接口返回的是L2归一化向量，常见语义检索可使用余弦相似度。具体参数可参考Ollama嵌入文档和Embed API说明。
工程实现中不要逐段串行请求。更合理的做法是按文本长度组成小批次，限制并发数量，并记录模型名称、版本标识、向量维度和分块策略。对于超出上下文窗口的内容，应在调用前主动切分，而不是完全依赖自动截断。模型升级时建议写入新集合或新版本字段，避免新旧向量混合。
建议的入库字段
- 主键：使用稳定且可追踪的片段ID，便于幂等写入和增量更新。
- 向量字段：维度必须与Ollama模型实际输出保持一致。
- 标量字段：保存租户、来源、文档类型、更新时间和权限标签。
- 正文定位：保存原文、摘要或外部存储地址，方便检索结果回溯。
三、Milvus集合与分区设计
Milvus中的分区是集合的逻辑子集，可以限制检索范围。与其按每位用户创建大量集合，不如保持统一Schema，再根据租户、业务域或时间范围划分分区。查询已知租户或知识域时，只加载并搜索相关分区，能够减少无关候选和内存压力。分区的基本机制可查看Milvus分区管理文档。
分区并非越多越好。过度细分会增加元数据、加载管理和运维复杂度，小分区还可能让索引收益下降。实践中可以优先选择“租户加业务域”作为分区边界；若租户数量持续增长，则考虑Partition Key，让Milvus依据标量字段管理数据分布。冷热数据应分开加载：近期、高频分区常驻内存，历史分区按需加载或释放。🧩
四、索引选型与参数调优
内存充足且强调低延迟、高召回时，可优先测试HNSW。其核心参数包括M、efConstruction和查询阶段的ef：提高M通常会增加图连接和内存占用；提高efConstruction会延长构建时间但有助于改善索引质量；提高ef通常能提升召回率，同时增加查询计算量。参数含义可参考HNSW官方文档。
数据规模较大、希望在资源与性能之间取得平衡时，可以选择IVF_FLAT。nlist决定聚类数量，nprobe决定查询时探测多少个聚类。nprobe越大，候选范围越广，通常召回更好，但延迟也会上升。不要直接照搬网络上的固定数值，应根据自身数据分布进行基准测试，相关机制见IVF_FLAT官方文档。
可执行的调优步骤
- 从真实业务数据中建立固定测试集，为每条查询准备人工相关结果或FLAT精确检索基线。
- 保持模型、分块方式、Top-K和距离度量不变，分别测试HNSW与IVF_FLAT。
- 逐档调整ef或nprobe，记录召回率、P50/P95延迟、QPS、索引体积和内存占用。
- 使用实际过滤条件测试分区检索，避免只测无过滤的理想场景。
- 选择满足召回目标的最低成本配置，并对新增数据定期复测。
五、服务化与稳定性实践
检索接口应加入批量写入队列、超时控制、重试和熔断机制。写入前校验向量维度，查询前检查目标分区是否加载，并对空结果、模型不可用和Milvus连接异常设置明确的降级响应。监控侧至少关注Ollama模型加载耗时、嵌入吞吐、Milvus查询延迟、分区加载状态、索引构建进度及失败写入数量。🔍
增量更新建议采用“稳定主键加版本字段”：内容变化时写入新版本并删除旧片段，批量导入期间避免频繁重建索引。若需要权限隔离，应在检索时同时使用分区范围与标量过滤，不能仅依赖应用层在结果返回后再过滤，否则可能扩大数据暴露面。
总结
Ollama与Milvus的组合，重点不只是打通一次向量写入，而是建立可持续演进的数据链路。先确保模型、维度和文本处理一致，再通过合理分区缩小搜索范围，最后围绕召回率、延迟和资源消耗调节HNSW或IVF_FLAT参数。只有使用真实查询集反复压测，并把模型版本、分区状态和索引指标纳入监控，才能把本地向量检索从演示项目升级为稳定的大规模服务。✅
