MDPO: Conditional Preference Optimization for Multimodal Large Language Models

优质创作者: 编程框架技术领域

领域专家: C/C++技术领域

2024-12-26 10:09:38

MDPO: Conditional Preference Optimization for Multimodal Large Language Models

...全文

43 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

直接偏好优化（DPO）已被证明是大型语言模型（LLM）对齐的有效方法。近期的研究尝试将DPO应用于多模态场景，但发现难以实现一致的改进。通过比较实验，我们确定了多模态偏好优化中的无条件偏好问题，即模型在优化过程中忽略了图像条件。为了解决这个问题，我们提出了MDPO，这是一个多模态DPO目标，它通过同时优化图像偏好来防止过度优先考虑仅基于语言的偏好。此外，我们引入了一个奖励锚点，强制奖励对于选定的响应为正，从而避免了它们的似然度降低——这是相对偏好优化的一个内在问题。

note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In

©作者 |刘杰单位 |香港中文大学MMLab研究方向 |大语言模型、强化学习论文链接：https://arxiv.org/pdf/2310.03708.pdf代码链接：https://github.com/ZHZisZZ/modpTL;DR我们提出 MODPO（多目标直接偏好优化），它以最小的代价改进 DPO（直接偏好优化），以完成多目标对齐。在实现上，MODPO 只需要在 DPO 的基础...

LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战目录《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE

今天深度学习了吗

32,326

社区成员

152

社区内容

发帖

与我相关

我的任务

人工智能图像处理深度学习个人社区浙江省·杭州市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章