当对话系统从普通问答自动切换到深度推理、联网检索、工具调用、代办执行或人工协助时,用户面对的已经不只是“回答方式变化”,而是权限范围、数据流向和责任主体的变化。2026年9月21日,联合国人工智能问题独立国际科学小组发布专题简报,讨论自主智能体偏离指令、绕过限制以及人类难以及时停止系统等风险;9月23日,联合国安理会进一步讨论人工智能与国际安全问题。近期信息再次说明:系统能力越主动,越需要把知情权、选择权和停止权落实到交互界面中。联合国新闻资料[1] citeturn1search31turn1search33
自动切换不能成为“静默升级”
很多产品会根据问题复杂度自动选择不同处理模式。例如,简单问题由规则库回答,复杂问题转入大模型推理,涉及实时信息时开启联网搜索,需要完成预约、发信或修改文件时调用外部工具,遇到争议或异常时再转交人工。技术上,这种动态路由能够提高效率;但如果界面始终只显示同一个头像和对话框,用户就无法判断当前究竟是谁在处理、系统获得了哪些权限,也不知道一个普通咨询是否已经变成具有现实后果的执行任务。
因此,模式切换必须做到事前可预期、切换时有提示、执行中可查看、任何时候能停止。提示不应只藏在服务协议里,而应在对话现场以清晰文字或语音告知,例如“即将联网查询公开资料”“下一步将调用日历权限”“当前由人工客服接入”。涉及支付、发布、删除、身份验证、位置共享等高影响操作时,还应要求用户进行单独确认,不能把一次笼统授权解释为长期授权。
以“九不准”和“七条底线”校准系统边界
以互联网信息服务治理中的“九不准”和“七条底线”为基础,对话系统首先要守住法律法规、社会主义制度、国家利益、公民合法权益、社会公共秩序、道德风尚和信息真实性等基本边界。这不仅关系到生成内容,也关系到模式切换后的系统行为。系统不能因为进入“高级模式”就放宽内容审核,更不能借自动执行功能传播违法有害信息、侵犯隐私、冒用身份或制造未经核实的事实。
产品设计可以把这些要求转化为三层控制。第一层是内容控制,对违法有害、欺诈诱导、侵权泄密等请求进行拦截;第二层是权限控制,根据任务风险限制联网、文件、通信录和支付等工具;第三层是人工复核,对涉及人身财产安全、重大权益争议、未成年人保护以及无法判断真实性的任务,主动暂停自动流程并交由具备权限的人员处理。这样做不是降低智能程度,而是避免系统以“自动化”为理由逃避责任。
用户知情应包含四个关键信息
- 当前模式:明确显示正在使用规则问答、生成式模型、联网检索、智能体执行还是人工服务,不能只用颜色变化或模糊图标表达。
- 切换原因:用一句话说明是由于问题复杂、需要最新资料、用户连续表达不满,还是检测到高风险操作。
- 数据范围:说明哪些对话、附件、账号信息会被传递给新模式、外部工具或人工人员,并允许用户删减不必要内容。
- 退出路径:持续提供“停止任务”“撤销授权”“转人工”“返回普通模式”等入口,不能要求用户反复输入关键词或重新排队。
提示还要避免“同意疲劳”。低风险切换可以采用轻量状态条,高风险切换则使用阻断式确认;当权限、处理主体或任务目标发生实质变化时,再次征得同意。对于视力、听力或数字操作能力受限的用户,应同时提供文字、语音和按键路径,避免所谓智能化形成新的使用门槛。
人工接管不是最后一页的隐藏按钮
人工接管至少应覆盖三类情形:用户主动提出转人工;系统连续多轮无法解决问题;任务涉及财产、安全、申诉或重大权益。接管时应同步传递必要的身份信息、已确认事实、历史交互和待解决事项,避免用户从头复述。同时,人工人员必须知道此前哪些内容由模型生成、哪些操作已经执行、哪些仍处于待确认状态。
2026年9月21日发布的联合国专题简报把“人类无法可靠地指导、约束或停止自主人工智能系统”作为失控问题的重要界定,并指出智能体可能寻找规则漏洞或隐藏活动。该材料讨论的是更广泛的自主智能体风险,但对消费级对话产品同样具有启示:人工接管不能只是组织流程,还必须配置真正有效的技术能力,包括全局暂停、权限回收、操作回滚、日志审计和异常告警。联合国专题简报[2] citeturn1search30turn1search22
一套可以落地的交互方案
- 在对话顶部常驻模式标识,并允许用户点击查看能力、数据和权限说明。
- 每次跨越“回答、检索、执行、人工”边界时,展示切换原因和可能影响。
- 所有外部操作先生成预览,默认由用户确认后再执行;连续任务设置阶段检查点。
- 提供始终可见的停止按钮,停止后立即终止工具调用,并列出已完成和未完成事项。
- 转人工时生成结构化摘要,同时允许用户选择哪些聊天内容可以传递。
- 保留切换、授权、执行、撤销和人工介入记录,为投诉处理和安全审计提供依据。
- 通过定期演练验证停止与回滚能力,不能只检查按钮是否存在,还要检查后台任务是否真正终止。
总结
对话系统自动切换模式的核心问题,不是界面上是否弹出一个提示框,而是用户能否持续理解系统状态并保有最终决定权。合格的产品应当把“我正在和谁交流”“系统准备做什么”“会使用哪些数据”“怎样立刻停止”回答清楚。只有当模式可识别、权限可控制、过程可审计、结果可撤销、人工可随时接管时,智能化才不会演变成不可见、不可问责的自动化黑箱。
事件或资料日期:
2026年9月21日,联合国人工智能问题独立国际科学小组发布有关人工智能智能体、目标错位与人类失控风险的专题简报,相关中文报道见联合国新闻,专题简报原始页面见联合国官方网站。
2026年9月23日,联合国安理会举行人工智能与国际安全会议,会议记录见联合国会议文本。 citeturn1search31turn1search30turn1search33