模型加载接口

领域专家: 游戏开发技术领域

2023-01-12 14:42:23

课时名称	课时知识点
模型加载接口

...全文

110 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

DriverStudio下的DriverMonitor.exe驱动加载调试工具。

文章目录函数接口参数返回值示例 PaddleX提供了统一的模型加载接口，支持加载PaddleX保存的模型，并在验证集上进行评估或对测试图片进行预测函数接口 paddlex.load_model(model_dir) 参数 model_dir: 训练过程中保存的模型路径返回值 paddlex.cv.models, 模型类。示例点击下载PaddleX在小度熊分拣数据上训练的MaskRCNN模型点击下载小度熊分拣数据集 import paddlex as pdx model_dir

今天就其模型的功能模块介绍一下怎么加载模型。langchain的官网架构图目前来说langchain加载模型主要有三种形式：加载第三方模型服务，比如openAI，阿里云通义千问，百度文心一言，chatGLM开源模型等。包主要在langchain.llms中，代码如下所示：第二种是从huggingface上加载开源模型，huggingface是一个类似于github的开源模型仓库，上面有大量的开源大模型。这种方式是把大模型加载到本地，所以本地如果硬件配置不行一些模型可能会跑不起来。

于这个项目来说，因为考虑到数据不能出公司，所以不能用OPENAI的模型和接口，选择开源的大模型成了首要的问题，可根据显卡等配置的具体情况，选择不同参数的模型，笔者测试了llama2的13B模型，感觉不错，但是FASTCHAT不支持4Bite量化，所以改成了阿里的通义千问7B，也可以更好的理解中文。

本文主要讲解ncnn模型加载的三种方式，模型以上文（https://blog.csdn.net/Enchanted_ZhouH/article/details/105861646）的resnet18模型为示例，模型文件如下： resnet18.param //模型结构文件 resnet18.bin //模型参数文件第一种方式：直接加载param和bin &

姜雪伟的课程社区_NO_1

1

社区成员

229

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章