OpenAI于2026年11月2日发布LifeVal,用于评估人工智能系统在日常生活任务中的实际完成能力。与主要考察知识问答或单轮指令的基准不同,LifeVal关注照护、健康、教育、家庭管理、个人财务、购物和政府服务等场景,要求模型结合用户偏好、历史对话、记忆和参考文件,完成网页操作、表单填写、生成文件或管理数字事务等较长流程。OpenAI官方介绍
OpenAI随后发布的论文显示,LifeVal覆盖148类消费者活动,最终形成169项评测任务;研究团队还通过支付意愿调查估算,这些活动对应的美国年度潜在支付意愿超过1.7万亿美元。LifeVal论文 这意味着评测重点正在从模型能否生成一段看似合理的答案,转向模型能否在具体个人情境下采取正确行动,并通过最终产物、环境状态变化和任务规则判断结果是否真正完成。
这一方向对智能体产品具有直接意义。生活类任务往往信息分散、目标主观、容错率低,模型即使语言表达流畅,也可能遗漏用户历史偏好、错误填写资料,或声称完成了实际上没有完成的操作。LifeVal尝试用任务专属规则、模拟环境和自动评分器区分这些失败类型,并设置专门机制识别利用评测环境漏洞的行为。不过,当前公开结果主要来自OpenAI自建评测,任务环境与评分器也由研究方设计,不能直接等同于真实用户场景中的普遍成功率。对行业而言,值得关注的不是单一模型分数,而是能否建立可复现、可审计并覆盖真实副作用的智能体评测体系。
参考来源:
- LifeVal | OpenAI 2026-11-02
- LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks 2026-11-03
由 AI 整理,仅供参考;请以原始来源为准。
帖子详情