Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Sc

码流怪侠
优质创作者: 编程框架技术领域
领域专家: C/C++技术领域
2024-12-19 23:05:07
...全文
48 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
InternVL2: Better than the Best—Expanding Performance Boundaries of Open-Source Multimodal Models
基于对InternVL2的分析，可以得到以下经验： 1、对于将预训练好的VIT与LLM模型组装成mllm模型时，可以只训练MLP部分，实现快速的模态对齐 2、llm部分的升级可以大幅度提升mllm模型的效果，尤其是在非标准格式问答中 3、数据分布域的改变，导致在标准格式输出，如grounding任务中，模型性能的下降（这表明模型能力的提升不一定是全面的）
InternVL2.5：Expanding Performance Boundaries of Open-SourceMultimodal Models 论文理解
1、继承InternVL 2.0核心模型架构的基础上，系统地探索了视觉编码器、语言模型、数据集大小以及测试时配置的性能趋势，应该还有一个（预）训练策略 2、第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思维（CoT）推理实现了涨点3.7% 3、探索了一种data filter的数据方式，确保数据的高质量（MLLM去重，filter+人工）
论文分享 | 大语言模型最新进展
https://arxiv.org/abs/2412.05237Open-source multimodal large language models (MLLMs) have shown significant potential in a broad range of multimodal tasks. However, their reasoning capabilities remain constrained by existing instruction-tuning datasets, wh
腾讯中文通用视频模型—Hunyuan-Video，已开源
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
突破闭源封锁！InternVL 2.5 革新开源多模态模型格局？
本月 5 号，上海 AI 实验室旗下的 OpenGVLab 团队发布了其最新的开源多模态大语言模型 InternVL2.5 系列。其中 InternVL2.5 78B 是首个在 MMMU benchmark 上得分超过 70 的开源模型，同时超越 Chatgpt-4o 与 Claude-3.5-Sonnet!书生·万象 InternVL 2.5[1] 最新的多模态大模型家族涵盖由 1B 到 78B 的不同模型，适配不同需求的使用场景和硬件需求。
今天深度学习了吗

34,048

社区成员

152

社区内容

发帖
与我相关
我的任务
社区描述
深度学习相关博客和资源~
人工智能图像处理深度学习 个人社区 浙江省·杭州市
社区管理员
  • 码流怪侠
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章