导语:随着百万级上下文窗口逐渐进入主流大模型能力清单,企业似乎终于可以把合同、制度、会议纪要、产品手册乃至代码仓库一次性提交给模型。📚 但“能够输入”并不等于“能够准确使用”。面对整库文档,真正的挑战已经从上下文容量不足,转向信息组织、证据定位、版本识别与结果核验。
一、百万级上下文不等于百万级注意力
上下文窗口表示模型单次请求能够接收的信息上限。Google 的长上下文文档显示,部分 Gemini 模型支持一百万或更多 Token 的上下文,可处理长文本、代码、音视频转录等内容,详见官方文档。这为企业分析大规模非结构化资料提供了基础,但窗口扩大并不会自动消除遗漏。
“Lost in the Middle”研究发现,当关键信息位于长上下文中间位置时,部分模型的利用效果可能低于信息处在开头或结尾时的表现,且上下文越长,干扰内容通常越多,参见相关论文。因此,把整个文档库简单拼接后一次提交,并不是可靠的知识处理方案。
二、整库输入前先完成文档治理
企业首先应建立统一的文档清单,为每份文件补充标题、部门、负责人、创建时间、更新时间、版本号、保密级别和适用范围等元数据。🗂️ 对扫描件要进行 OCR,对表格、页眉、脚注和附件关系进行结构化识别,避免模型只读到正文,却漏掉限制条件、金额单位或补充条款。
重复文件与冲突版本也必须提前处理。建议保留完整原文,但在索引层标注“现行版本、历史版本、草稿、已废止”等状态,并建立版本继承关系。若同一制度存在多个版本,应优先向模型提供现行文件,同时要求它在发现冲突时列出来源,而不是自行判断哪一份有效。
三、采用“检索缩小范围,长上下文综合分析”
更稳妥的架构不是在长上下文与 RAG 之间二选一,而是组合使用。🔍 系统先依据用户问题进行关键词检索、语义检索和元数据过滤,筛出高相关文档;随后把候选文件的完整章节放入长上下文,让模型完成跨文档比较、时间线梳理和因果分析。
切分文档时不要只按固定字数机械分块。合同应尽量保持“条款—例外—附件”完整,制度应保留章节层级,会议纪要应把议题、结论、责任人和截止日期放在同一语义单元。每个分块还应携带文件名、章节路径、页码及版本信息,便于答案回溯。
四、把“先找证据”写进任务流程
直接要求模型回答问题,容易得到流畅但证据不足的结论。更有效的提示方式是分两步执行:先提取与问题相关的原文片段,再依据这些片段作答。Anthropic 的长上下文实践也讨论了“先提取相关引用,再回答问题”的方法,详见研究说明。
推荐指令:先列出所有与问题直接相关的证据,包括文件名、章节、页码和原文摘要;再基于证据形成结论。若资料之间存在冲突、缺页或信息不足,必须明确标注,不得补充未经文档支持的内容。
对于复杂任务,还可以要求模型建立“证据矩阵”,分别记录结论、支持材料、反对材料、适用条件和可信度。这样不仅能降低遗漏概率,也能让法务、审计、研发等人员快速复核模型的判断依据。✅
五、用多轮校验替代一次性生成
企业级问答应设计至少三道校验:第一轮检查是否覆盖全部子问题;第二轮反向搜索可能被遗漏的否定词、例外条款、附件和时间限制;第三轮核对每项结论是否具有可定位的出处。高风险场景还应增加人工审批,模型只能提供辅助意见,不能直接替代责任主体作出决定。
还可将同一问题拆成多个独立任务,例如分别检索“支持证据”“冲突证据”“最新版本”和“例外情况”,最后再汇总。相比让单个提示词同时完成检索、推理、判断和写作,这种分阶段方式更容易发现盲点,也便于记录每一步的输入与输出。
六、建立面向真实业务的遗漏测试
上线前不要只测试答案是否通顺,而要建立企业自己的评测集。可从历史合同、制度和项目资料中挑选已知答案的问题,并把关键信息分别放在文档开头、中间、结尾、脚注和附件中,观察系统能否稳定检出。🧪 同时测试相似文件干扰、旧版本冲突、跨文档关联和无答案问题。
评估指标应覆盖证据召回率、引用准确率、版本识别率、冲突发现率和无依据回答率。对于遗漏案例,要判断问题来自解析失败、检索漏召回、上下文排序不当,还是模型推理偏差,再针对具体环节修复,而不是只修改一句提示词。
总结
百万级上下文提升了企业处理整库文档的能力上限,却没有取消信息治理和质量控制。真正可靠的方案应形成“文档治理—混合检索—结构化输入—证据提取—多轮校验—持续评测”的闭环。🚀 当每个结论都能追溯到具体文件、版本和位置时,长上下文才会从容量卖点转化为可审计、可复核的企业生产力。