很实用的一点是把评测目标先拆开,否则很容易出现“榜单成绩不错,上线却问题不断”。实际落地时,我觉得可以先从几十到几百条高价值样本做起,特别是线上差评、人工纠正和历史事故案例,它们通常比盲目扩充题库更有价值。
工具方面也没必要一次铺得太全:提示词和模型版本回归可先用 Promptfoo;已有 pytest 体系的团队可考虑 DeepEval;RAG 则应把检索召回与回答忠实度分...
这轮落地最值得关注的,不是自动化比例有多高,而是系统能否把判断依据清楚展示出来。核保和理赔都关系到客户权益,尤其遇到既往病史、责任除外、大额赔付等复杂情形,模型给出结论还不够,还要能定位到具体条款、材料和规则版本,并保留人工复核及申诉入口。
另外,建议行业除了统计处理时效和减损金额,也公开补件次数、误拦截率、人工改判率等指标。只有效率、准确性和客户体验一起改善,智能化才算真正产生...