书生-浦语大模型全链路开源体系(一)

[luminescenytx]

书生浦语大模型系列(开源)

模型发展: 专用模型->通用大模型(多任务, 多模态)

大语言模型

InternLM
InternLM-7B模型 全链条开源工具体系
书生-万卷

• 轻量级: InternLM-7B
• 中量级: InternLM-20B
• 重量级: InternLM-123B

InternLM-20B 大模型性能
能力: 综合考试 知识问答 阅读理解 推理 编程

从模型到应用:

智能客服 个人助手 行业应用

书生-浦语 全链条开源开放 体系

• 数据 书生-万卷 2TB 涵盖多种模态与任务
• 预训练 InternLM-train 并行训练
• 微调 XTuner 支持全参数微调 支持LoRA等低成本微调
• 部署 LMDeploy 全链条部署 性能领先 每秒生成2000+ tokens
• 评测 OpenCompass 全方面评测 性能可复现 80套评测集 40万道题目
• 应用 Lagent AgentLego 支持多种智能体, 支持代码解释器等多种工具

数据

书生-万卷

平台: OpenDataLab

预训练

InternLM-train 并行训练

微调

大语言模型的下游任务应用中, 增量续训和有监督微调是经常使用的两种方式

• 增量续训 让基座模型学习到一些新知识, 如某个垂类领域知识 训练数据-文章,书籍,代码等
• 有监督微调(全量, 部分) 让模型学会理解和遵循各种指令, 或者注入少量领域知识 训练数据-高质量对话, 问答数据

XTuner

评测

国内外评测体系的整体态势

OpenCompass

OpenCompass 开源评测平台架构

丰富模型支持
分布式高效评测
便携的数据集接口
敏捷的能力迭代

模型支持:

部署

LMDeploy
提供大模型在GPU上部署的全流程解决方案包括模型轻量化, 推理和服务

静态推理性能(固定batch, 输入/输出token数量)
动态推理性能(真实对话, 不定长的输入/输出)

智能体应用

LLM局限性:

• 最新信息和知识的获取
• 回复的可靠性
• 数学计算
• 工具使用和交互

轻量级智能体框架 Lagent

代码解数学题
零样本泛化: 多模态AI工具使用

工具集合 AgentLego