对测试集分批次推理

南木老师 2024-04-24 08:37:46

课时名称	课时知识点
对测试集分批次推理	从测试集中得到每个批次的数据，并进行正向推理计算；同时准备好计算AP的数据status。

...全文

109 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

问题描述首先说明: 由于我的测试集很大, 因此需要对测试集进行分批次推理. 在写代码的时候发现进行训练的时候大概显存只占用了2GB左右, 而且训练过程中显存占用量也基本上是不变的. 而在测试的时候, 发现显存在每个batch数据推理后逐渐增加, 直至最后导致爆显存, 程序fail. 这里放一下我测试的代码: y, y_ = torch.Tensor(), torch.Tensor() for batch in tqdm(loader): x, batch_y =

源码与之前不一样，有两种方法作模型训练、验证、推理，第一种方法是在终端输入命令行(命令行未涉及到的参数就使用。文件的数量不一定等于测试集的图片数量，因为对于某一张图片可能会有漏检的情况，即一个目标也没有检测出来。之后模型验证时输出的性能指标的计算方法就是这样的，只是没有把各类别的性能指标打印出来而已)不同，模型输出不再有检测框的置信度预测值。的检测结果，后者是对应的标签图片，可以观察是否有漏检和误检的情况。cls，center_x，center_y，w，h，置信度。（1，2）：真实框的分布。

参考：1、https://blog.csdn.net/qq_36867398/article/details/103308753 2、模型推理加速技巧：融合BN和Conv层 - 知乎一、训练训练的时候BN层是以每个channel来计算均值和方差，比如是如的是64*32*32*3，3代表channel，当前假如是rgb，64是batchsize。首先在r，g，b上分别求出当前图像所有像素点的均值和方差，然后在batch上求平均，得到该组batch数据的局部数据均值和方差。然后引入bn层中...

以上就是使用PMRID训练自己数据集及推理测试的详细图文教程，由于推理速度达不到要求，后续我没有再继续研究，且本方法要结合相机的iso参数生成噪声训练集才能达到效果最好，不同学者的训练测试结果有所不同是正常的。后续有研究更深入的学者欢迎一起讨论学习。

正如我们所看到的，没有直接的答案来优化推理时间，因为它主要取决于特定硬件和试图解决的问题。因此应该使用自己的目标硬件和数据进行实验，以获得可靠的结果。尽管如此，还是有一些很容易实施的指导方针:预测批次可以提供显著的加速到一定的尺寸(取决于您的特定硬件)，特别是如果可将批相似长度的样品放在一起时。使用Torchscript或ONNX确实为较小的批大小和序列长度提供了显著的加速，在对单个样本运行推理时效果特别强。ONNX似乎是我们测试过的三种配置中表现最好的，尽管它也是最难安装到GPU上的推理 whaosoft

南木老师的课程社区_NO_1

1

社区成员

104

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章