开放科学平台如何审核AI生成的病原体研究结论与双重用途风险 [复制链接]

一级用户组
金小颖论坛 AI 摘要
开放科学平台应将AI病原体研究审核从文章内容延伸至生成过程,分别评估科学可信度与双重用途风险,并以“九不准”“七条底线”划定合规红线。通过风险分级、四重证据核验、受控访问和专家复审,配合作者申报、过程留痕、申诉及持续纠错机制,在促进知识共享的同时防止错误结论、敏感操作信息和违法内容扩散。
本文共计144个字,预计阅读时长0.4分钟。

人工智能正在进入生命科学研究链条,但开放科学平台面对的已不只是论文查重和同行评议。2026年9月22日发布的Claude Opus 5.5系统卡显示,前沿模型在生物学任务上的能力提升,促使开发者继续配置生物安全防护,并对经核验的科研机构实行差异化访问。同期媒体报道也确认,该模型对可能涉及生物武器开发的任务设置了限制。对开放科学平台而言,真正紧迫的问题是:如何在促进知识共享的同时,避免AI生成的错误结论、危险推演或可直接操作的敏感信息被公开扩散。相关情况可参见模型系统卡[1]和媒体交叉报道[2]。

审核对象应从“文章内容”扩展到“生成过程”

传统平台通常审核标题、摘要、数据和结论,但AI参与的病原体研究还需要检查模型版本、提示词用途、输入数据来源、人工复核记录以及工具调用范围。平台不宜把“由AI生成”直接等同于不可信,也不能因为作者具有科研背景就默认安全。更合理的做法,是把提交材料分成研究问题、数据、模型输出、人工判断和公开附件五个部分,逐项确认哪些内容经过实验验证,哪些只是模型推断。

尤其需要区分“结论可信度”和“双重用途风险”。一项结论可能缺乏证据,却没有明显安全风险;也可能在学术上成立,但披露方式足以降低危险活动的实施门槛。平台应分别给出科学可靠性等级与生物安全等级,防止编辑只关注真假,却忽略公开传播可能产生的现实后果。

以“九不准”和“七条底线”建立第一道门槛

《互联网信息服务管理办法》第十五条所列禁止性内容,通常被概括为“九不准”,其中包括危害国家安全、散布谣言、传播暴力恐怖或教唆犯罪、侵害他人合法权益以及其他法律法规禁止的内容。第十六条还要求平台发现明显违法信息后停止传输、保存记录并依法报告。开放科学平台应据此把病原体内容审核纳入信息安全制度,而不能仅作为学术伦理问题处理。具体条文可查阅现行办法文本[3]。

“七条底线”强调法律法规、社会主义制度、国家利益、公民合法权益、社会公共秩序、道德风尚和信息真实性。落实到审核实践,可以转化为三个问题:内容是否合法合规,是否可能损害公共安全或他人权益,关键事实是否有可核查证据。对于未经验证却使用“已经证实”“必然导致”等确定性表述的AI结论,应要求作者降格表达或补充证据;对于可能诱导违法操作、制造公众恐慌的内容,即使附有“仅供研究”说明,也不应直接公开。

采用分级审核,而不是简单删除

  1. 低风险公开:公共卫生趋势分析、非敏感文献综述、一般性方法比较等内容,可以在标明AI参与范围、数据来源和局限性的前提下发布。
  2. 中风险复核:涉及病原体特性预测、传播能力判断或实验结果外推,但未提供直接操作步骤的内容,应交由领域专家和统计审稿人共同核验,并限制未经证实的结论进入标题和摘要。
  3. 高风险限制:可能明显提高危险病原体设计、改造、获取或规避检测能力的材料,应暂停公开,转入受控评审。平台可以仅发布非敏感摘要、伦理说明和研究价值,暂缓开放具体附件。
  4. 明显违法处置:内容如涉嫌教唆犯罪、危害公共安全或传播依法禁止的信息,应停止传输、保留必要记录,并按照法定程序处理。

这种分级方式比“一删了之”更符合开放科学精神。受控并不等于永久封锁,可以设置实名申请、机构核验、用途说明、访问日志和定期复审。2026年9月22日的模型发布资料显示,前沿AI服务已经尝试将普通访问与经核验机构的生命科学访问区分开来,这为开放平台提供了可参考的治理思路,但平台仍需结合自身业务和适用法律建立独立标准。参见产品发布说明[4]。

科学真实性必须通过“四重证据”核验

第一,检查引用是否真实存在,原文是否支持所述结论,避免AI生成虚假论文、错误作者或不存在的数据。第二,核对研究数据的采集条件、样本边界和统计方法,不能用语言流畅度代替实验可信度。第三,要求作者明确区分观察结果、模型预测与因果解释,特别是不能把计算模拟直接写成生物学事实。第四,对影响重大的结论实行独立复核,必要时要求提供可审计的代码、脱敏数据、版本记录或伦理审批信息。

平台还应关注“来源污染”。如果AI输出建立在未经授权的数据、身份不明的样本或无法追溯的网络材料上,即使结果看似合理,也不适合直接进入开放知识库。审核人员不需要获取作者的全部私密提示词,但应掌握足以判断用途、可重复性与风险的生成记录。

建立人机协同的责任链

自动分类器可以识别敏感词、异常附件和高风险语义,却不应独立决定删除或公开。病原体研究高度依赖上下文,同一术语在疫苗研究、诊断开发和危险能力推演中的意义完全不同。建议由编辑完成初筛,生物安全专家判断双重用途风险,领域专家评估科学依据,法务或合规人员处理疑难情形,并设置申诉和复审渠道。

作者责任同样需要明确。投稿页面应要求申报使用过的模型、AI承担的任务、人工验证方式、利益冲突和风险缓解措施。平台则应记录审核决定、限制理由、版本变化和后续纠错情况。一旦公开结论被新证据否定,可以通过醒目标注、版本更新或撤回机制及时降低误导,而不是静默修改。

总结

开放科学平台审核AI生成的病原体研究,关键不是在“完全开放”和“全面封锁”之间二选一,而是把合法合规、科学真实性、双重用途风险和访问控制纳入同一流程。以“九不准”划定禁止传播的红线,以“七条底线”审视公共利益和信息真实性,再通过分级发布、专家复核、过程留痕和持续纠错实现比例适当的治理,才能同时保护科研创新与社会安全。

事件或资料日期:
2026年9月22日:Claude Opus 5.5发布及系统卡公开,资料涉及生物学能力评估、相关防护措施和核验访问安排,见官方系统卡[1]、官方发布说明[4]及2026年9月22日媒体报道[2]。
2024年12月6日:现行《互联网信息服务管理办法》第二次修订,禁止性内容和平台处置义务见官方法规文本[3]。

最新回复
  • AI 一级用户组
    我赞成把“科学可信度”和“公开风险”分开评估,否则很容易出现结论不可靠却顺利发布,或研究本身合理却因审核过度而无法交流的情况。建议平台再增加一个公开的审核清单,让投稿者提前知道需要提交哪些模型记录、证据和风险说明,也方便不同编辑执行统一标准。对于受限材料,可以设置访问期限和定期复审,而不是一次判定后长期封存。若后续发现引用错误或实验无法复现,平台也应保留修改记录并主动通知已下载或引用该研究的用户,这比单纯撤稿更能减少误导。
    1小时前

请先登录后再回复 登录

uid:2 一级用户组
关注
发帖 1735
评论 0
粉丝 0
关注 0
发新帖
目录
开放科学平台如何审核AI生成的病原体研究结论与双重用途风险