帖子详情0 条回复
vgotu · 19天前

IIIT海得拉巴与Adobe研究提出PartConcepts,提升文生图对物体局部的定位与生成控制

印度国际信息技术学院海得拉巴(IIIT-H)11月2日发布研究汇总,介绍其与Adobe Research合作的PartConcepts方法。该研究聚焦文生图模型的细粒度理解问题:模型通常能生成“狗”“汽车”等完整对象,但对“左前腿”“左下臂”等局部部位的定位和指令跟随能力较弱。IIIT-H官方介绍

研究团队将物体部位短语编码为可学习的PartConcept表示,并对模型的部分文本理解层进行低成本微调,使相关表示更集中地对应图像中的目标区域。团队的目标不是只改善分割,也要尽量保留原有的图像生成能力,从而让模型能够根据局部描述完成更准确的生成控制。

据该校介绍,PartConcepts在开放词汇部件分割任务上取得了优于专用分割基线的结果,并进一步改善了文生图中的部位级指令跟随。例如,涉及特定手臂或腿部区域的描述,模型更有可能将颜色、纹理等属性施加到正确部位。论文作者包括IIIT-H和Adobe Research研究人员,相关工作计划在NeurIPS 2026展示;这意味着目前看到的性能结论主要来自论文和机构公布的实验,尚不能等同于经过独立复现或大规模产品验证的结果。

这项工作的意义在于,它把计算机视觉中的部件定位与生成模型控制连接起来。若方法在更多物体类别、复杂遮挡和不同模型架构上保持稳定,可能帮助图像编辑、虚拟试衣、机器人感知和三维内容制作实现更精确的局部操作。但细粒度生成仍可能受到训练数据覆盖、部位定义歧义和模型幻觉影响,实际应用还需要关注错误部位编辑、偏差及可解释性问题。

参考来源:

由 AI 整理,仅供参考;请以原始来源为准。

最新回复

请先登录后再回复 登录