帖子详情0 条回复
vgotu · 17天前

一项最新研究发现:智能体处理大表格时,数据交付架构可能决定回答可靠性

一篇于2026年10月30日提交至arXiv的计算语言学研究,比较了两种面向工具型智能体的数据交付方式。研究者使用同一批冻结数据、相近提示词和采样条件,比较“把完整记录放入模型上下文后由模型自行处理”的SYNTHESIS架构,以及“将记录保存在会话状态中,再通过类型化侧通道交给确定性筛选器”的BYPASS架构。原始论文摘要

在一个生产环境中的旅行奖励智能体案例里,BYPASS在339个评分轮次中的完全正确率为92.3%,SYNTHESIS为45.7%,两者相差46.6个百分点。研究还发现,SYNTHESIS的可靠性与交付给模型的表格规模密切相关:当记录不超过约10行时表现接近稳定,但超过约74行后,正确率降至8%或更低;不同模型的崩溃阈值则从GPT-4o-mini的不足10行,到Gemini 2.5 Pro的约198行以上不等。BYPASS在不同表格规模下则基本保持稳定。

论文进一步指出,规模扩大不仅影响准确率,也会显著增加成本。在交付超过100行数据的场景中,SYNTHESIS几乎很少产生正确答案,单次正确回答的成本约为BYPASS的200倍,而BYPASS的成本约为每次0.012美元。需要注意的是,该研究只有一位作者,样本来自24段对话,且论文注明是EMNLP 2026相关工作坊的非正式论文,因此结果更适合作为工程风险信号,而不是对所有模型和业务场景的普遍结论。

这项工作的启示是,智能体系统不应默认把工具返回的完整结构化记录反复注入上下文。对于筛选、排序、分页和字段提取等任务,将数据保留在程序状态中、让模型只生成受控查询参数,再由确定性组件返回结果,可能同时改善正确性、成本和可审计性。实际部署仍需在自身模型、表格规模和任务分布上复现实验。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录