【InternLM】书生·浦语大模型全链路开源体系实战营第5课笔记

2024-04-17 11:17:12 370 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

缘起...即灭墨衍会员 · AI 创作全网分发关注 + 加入社区

【QGIS】【OsGeo4w】安装方法 every blog every motto: You will never know unless you try 0. 前言因为目前要使用QGIS，然而环境配置就整了大半天，哎，进行简单记录，方便自己方便他人。一共分为两种方式安装：独立安装包网络安装包（下载osgeo4w-setup） QGIS提供了不同的版本：长期发行版（LTR）最新版（LR）开发人员版本（DEV，母版或测试版）说明：本文推荐第二种 1. 正文 1.1 下载osgeo4w 下载链接下载完成： 1.2 阅读详情

LMDeploy部署

目录

一、大模型部署背景

二、大模型部署方法

三、LMDeploy简介

一、大模型部署背景

大模型部署面临的挑战：

二、大模型部署方法

三、LMDeploy简介

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。这个强大的工具箱提供以下核心功能：

高效推理引擎 TurboMind：基于 FasterTransformer，我们实现了高效推理引擎 TurboMind，支持 InternLM、LLaMA、vicuna等模型在 NVIDIA GPU 上的推理。
交互推理方式：通过缓存多轮对话过程中 attention 的 k/v，记住对话历史，从而避免重复处理历史会话。
多 GPU 部署和量化：我们提供了全面的模型部署和量化支持，已在不同规模上完成验证。
persistent batch 推理：进一步优化模型执行效率。

支持的模型

LMDeploy 支持 TurboMind 和 Pytorch 两种推理后端。运行lmdeploy list可查看支持模型列表

TurboMind

Note
W4A16 推理需要 Ampere 及以上架构的 Nvidia GPU

模型	模型并行	FP16	KV INT8	W4A16	W8A8
Llama	Yes	Yes	Yes	Yes	No
Llama2	Yes	Yes	Yes	Yes	No
SOLAR	Yes	Yes	Yes	Yes	No
InternLM-7B	Yes	Yes	Yes	Yes	No
InternLM-20B	Yes	Yes	Yes	Yes	No
QWen-7B	Yes	Yes	Yes	Yes	No
QWen-14B	Yes	Yes	Yes	Yes	No
Baichuan-7B	Yes	Yes	Yes	Yes	No
Baichuan2-7B	Yes	Yes	Yes	Yes	No
Code Llama	Yes	Yes	No	No	No

Pytorch

模型	模型并行	FP16	KV INT8	W4A16	W8A8
Llama	Yes	Yes	No	No	No
Llama2	Yes	Yes	No	No	No
InternLM-7B	Yes	Yes	No	No	No

...全文

从零构建智慧农业监测终端：STM32数据采集与LoRa组网实战本文详细介绍了如何从零构建智慧农业监测终端，涵盖STM32数据采集与LoRa组网实战。通过DHT22温湿度传感器和YL-69土壤湿度传感器实现精准环境监测，结合LoRa无线传输技术解决偏远农田信号问题。文章还分享了硬件选型、电路设计、低功耗优化及Flutter跨平台应用开发等关键技巧，助力农业智能化升级。阅读详情

缘起...即灭

OpenMMLab 536 成员 1,595 内容

+ 关注 + 加入社区