书生·浦语大模型实战营第二期-lesson7-笔记 lesson7的主角是opencompass，opencompass依赖于lmdeploy进行推理，所以如果lmdeploy无法正常运行，opencompass也不会正常工作，并且他并不会提示你是o

OpenCompass评测指南[项目源码]

本文详细介绍了使用OpenCompass工具和MMLU数据集评测大模型的步骤及注意事项。首先强调了不要使用新版数据集，并提供了环境搭建的具体命令，包括创建conda环境、克隆指定版本的OpenCompass代码库、安装依赖等。接着指导如何下载测试数据集并解压，以及如何查看配置和启动评测。评测过程约需6小时，建议使用tmux管理会话。文中还提醒修改权重路径和tokenizer路径，并给出了具体的运行命令。最后提到由于Bug导致评测结果无法正常显示，但综合mmlu测评值为45.85。

《AI大模型应用》-书生·浦语大模型.zip

个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！

OpenCompass模型评估[代码]

本文详细介绍了使用OpenCompass框架评估DeepSeek和Qwen语言模型的过程。OpenCompass是一个开源框架，旨在为构建和评估大规模语言模型提供全面、高效且可扩展的解决方案。文章从环境搭建、数据准备、模型下载到评估步骤进行了详细说明，并展示了评估结果。DeepSeek-R1-Distill-Qwen-1.5B的评估结果为40.62，远高于Qwen1.5-1.8B-Chat的26.56。最后总结了OpenCompass框架的优势，包括强大的数据管理、模型训练和评估功能，以及高度的可扩展性和灵活性。

Opencompass模型评测教程[代码]

本教程详细介绍了如何使用Opencompass工具对Internlm2-7b模型进行评测。评测方法主要包括主观评测和客观评测，其中主观评测可通过人工判断或模型竞技场进行，而客观评测则依赖于评测数据集。教程在OpenBayes平台上进行实验，推荐使用RTX4090进行评测，因其性价比最高。此外，教程还提供了下载Opencompass评测数据包的详细步骤，包括使用官方方法和推荐的阿里云链接。硬件和软件环境的配置步骤也被详细说明，包括创建算力容器、配置虚拟环境以及安装必要的软件依赖。最后，教程指导如何执行opencompass评测任务，包括创建配置文件、复制数据集以及运行评测命令。评测结果将保存在opencompass/outputs文件夹中。

OpenCompass初体验[源码]

本文详细介绍了OpenCompass的安装、数据准备及模型评测流程。OpenCompass是一个开源的机器学习和自然语言处理工具，提供多种模型和数据集用于评测。文章首先介绍了如何安装依赖库，包括GPU和CPU环境的配置步骤。接着讲解了数据准备的流程，包括数据集的下载和解压。随后详细说明了如何使用内置模型进行评测，并提供了具体的命令行操作示例。此外，文章还介绍了如何配置和使用其他模型进行评测，包括准备评测配置文件、下载模型文件、修改模型配置以及启动评测的步骤。最后，文章提供了参考链接和作者的公众号信息，方便读者进一步学习和交流。