MMPretrain代码学习

[不吃草的羊咩咩]

配置环境安装pytorch，cuda安装多模态模型mm pip install -e ".[multimodal"]

查看配置文件中安装的模型

 进行配置文件配置，主要用于图片分类

 使用BLIP模型进行image caption

 

 

 打印其中的矩阵，进行矩阵可视化

 最后进行一个猫的分类

 目前难点就是怎么将函数封装进行自己的路径配置，运用多模态模型进行物体检测分类，配置文件以及后处理需要学习，封装代码进行项目。