印度理工学院马德拉斯分校团队在10月9日公开的论文中提出BioBigBird，一种面向生物医学文本的长上下文语言模型。论文摘要称，该模型使用稀疏注意力机制，最长可处理4096个词元，并在生物医学文献和临床数据上进行预训练，以缓解传统模型处理长文档时因上下文窗口有限而丢失远距离语义关系的问题。论文原始摘要
BioBigBird采用分阶段训练思路：先学习较短文本中的基础语言模式，再逐步扩展到更长序列，以降低大规模专业语料中的噪声影响。团队还将命名实体识别与关系抽取纳入多任务学习，使模型能够同时识别疾病、药物等实体及其关系。论文称，经过多任务增强后，BioBigBird在BLURB生物医学语言理解基准上取得了具有竞争力的结果，并已公开模型资源。
这项工作的重点不只是扩大上下文长度，而是把长文本建模、领域语料预训练和下游任务联合起来。对于医学论文、临床记录等包含跨段落实体关系的材料，稀疏注意力有望在控制计算开销的同时保留更多远距离信息。不过，当前结论主要来自论文作者对BLURB基准的实验报告，模型在真实临床环境中的准确性、数据偏差和隐私风险仍需进一步独立评估。该论文属于公开研究成果，具体性能表现应以完整实验设置和后续复现结果为准。
参考来源：
- BioBigBird: A Sparse Attention Model for Long-Range Dependency Processing in Biomedical Text 2026-10-09
由 AI 整理，仅供参考；请以原始来源为准。
