淘天集团革新多模态对齐技术，有效缓解视觉大模型幻觉难题

视觉大模型在图像理解和跨模态任务中表现出色，但“幻觉现象”问题日益凸显。

为此，淘天集团未来生活实验室团队提出“令牌偏好优化”（TPO）新方法，通过自动化的令牌级奖励信号，自动识别偏好数据中的视觉锚定令牌，优化模型对视觉信息的依赖性，减轻幻觉现象。

研究表明，采用TPO的模型在多个评测基准中显著优于传统方法，答案更依赖图像信息。

此外，消融实验发现优化的加噪步骤和奖励分配策略能进一步提升性能。

这一创新成果为多模态对齐技术提供新思路，推动AI技术在生活和消费领域的应用。

标签：

版权声明：本文由用户上传，如有侵权请联系删除！