Qwen2.5-7B-Instruct的权重在何处下载

weixin_38817016 2026-01-21 11:18:47

请问 https://aihub.qualcomm.com/models/qwen2_5_7b_instruct?tags=generative-ai

Qwen2.5-7B-Instruct的权重在何处下载，还是只能自行导出？

...全文

37 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

创达-技术-李晋 15小时前

打赏
举报

目前没有直接可以使用的Qwen2.5-7B-Instruct。遵循一下示例进行转换
https://github.com/quic/ai-hub-apps/tree/main/tutorials/llm_on_genie

资源下载链接为： https://pan.xunlei.com/s/VOYkDrdzq_BXHCoYIlDLyBUQA1?pwd=nui8 Qwen2.5-7B-Instruct（Q4KM 量化版）是阿里云通义千问 Qwen2.5-7B-Instruct 模型的 4 位量化版本，它采用了 llama.cpp 的 Q4KM 量化方法。该模型的原始模型为 Qwen/Qwen2.5-7B-Instruct，其参数量为 70 亿。原始模型文件大小约为 14GB，而经过 Q4KM 量化后的版本文件大小约为 4GB。 Qwen2.5-7B-Instruct（Q4KM 量化版）适用于本地部署以及资源受限的环境。它具有一些显著的特点，比如通过 INT4 量化，将模型权重压缩至原来的 1/8 左右，大幅降低了显存和内存占用，同时还能保持较高的推理精度。该模型支持 CPU/GPU 混合运行，在推理时计算量下降，缓存占用少，推理速度也有所提升。如果您想使用这个模型，可以通过以下命令进行操作： bash ollama pull HoseaDev/Qwen2.5-7b-Instruct-Q4 ollama run HoseaDev/Qwen2.5-7b-Instruct-Q4 Qwen2.5-7B-Instruct 在指令遵循、长文本生成、理解结构化数据等方面有明显进步，还支持多达 29 种语言，包括中文、英文、法语、西班牙语等。对于需要处理超长文本的场景，它也能较好地应对。不过，对于高精度或长文本任务，用户也可以根据需求选择 FP16 或 INT8 版本的模型。

Qwen2.5 Technical Report 详细技术报告

资源下载链接为： https://pan.xunlei.com/s/VOZ0nlL9YELBYi0pJT1h_1DiA1?pwd=q3xt 一个月前，我们发布了Qwen系列首款数学大模型Qwen2-Math，如今已完成升级并开源Qwen2.5-Math系列，包含基础模型Qwen2.5-Math-1.5B/7B/72B、指令微调模型Qwen2.5-Math-1.5B/7B/72B-Instruct，以及数学奖励模型Qwen2.5-Math-RM-72B。不同于仅支持用思维链（CoT）解决英文数学题的Qwen2-Math，Qwen2.5-Math系列新增工具集成推理（TIR）能力，且支持中英双语解题。在中英数学基准测试中，该系列用CoT解题的表现较前代显著提升，具体性能可参考相关博客。需注意，Qwen2.5-Math主要用于通过CoT和TIR解决中英数学问题，不建议用于其他任务，且需使用推荐的最新版本（因已集成Qwen2代码），其GPU内存与吞吐量要求可参考Qwen2的类似数据。快速上手方面，Qwen2.5-Math-72B-Instruct为对话用指令模型，Qwen2.5-Math-72B为基础模型，适用于少样本推理及作为微调起点。它可按Qwen2.5的方式通过Hugging Face Transformers部署推理，数学奖励模型Qwen2.5-Math-RM-72B也可借此工具轻松推理。需注意，Qwen2.5-Math-Instruct的maj@8和RM@8采样参数，与Qwen2-Math-Instruct不同。此外，国内用户推荐用ModelScope以解决模型权重下载问题，还可通过Qwen-Agent本地演示体验TIR功能。性能上，基础模型在GSM8K、Math等英文基准及CMATH、高考数学填空等中文基准的少样本CoT测试中，较前代均有提升；指令微调模型在更多高

基于LLaMA与Qwen‑7B微调的中医智能问诊大语言模型源码+文档说明及全部资料.zip 该项目基于Qwen2/2.5作为基座模型，采用两阶段训练方法（先注入领域知识再进行知识激活和对齐），旨在推动大语言模型在中医诊疗领域的应用。项目开源了多个规格的模型权重（7B和14B）、数据集ChP-TCM，并提供了完整的推理接口和Web UI演示。在中医辨病、辨证、医学执照考试等任务上取得了当前最先进的性能。主要功能开源多个规格的中医大模型（BianCang-Qwen2-7B、BianCang-Qwen2.5-7B/14B及其Instruct版本）支持中医辨病、中医辨证、中医知识问答和处方推荐等功能提供代码推理、API部署和Web UI三种使用方式发布了ChP-TCM中医领域数据集在多项中医能力测试中超越GPT-4和其他开源模型技术栈基座模型：Qwen2/Qwen2.5 推理框架：SWIFT、Transformers、Streamlit 训练方法：两阶段微调（领域知识注入+知识激活对齐）部署方式：API服务、本地推理、Web UI

资源下载链接为： https://pan.xunlei.com/s/VOZ1fA4H2BUXgI8p41Sm5aLqA1?pwd=jzjm Smoothie Qwen 是一款轻量级调整工具，可平滑 Qwen 及同类模型的令牌概率，增强平衡的多语言生成能力，避免对特定语言过度倾斜。目前已上传预先调整的模型，涵盖 Smoothie Qwen3 系列（如 dnotitia/Smoothie-Qwen3-0.6B、1.7B、4B 等，最高至 235B 参数模型）与 Smoothie Qwen2.5 系列（如 Smoothe-Qwen2.5-3B-指导动态、7B 等，最高至 72B 参数模型），可直接集成到项目中。权重平滑按公式计算缩放因子 S（结合 min_scale、平滑度、目标语言生成概率），再乘以原始令牌权重。实验用 Qwen2.5-Coder-14B-Instruct 验证，以自定义中文启发数据集（测中文抑制率）和 KMMLU 韩语基准（测中文抑制率与任务准确性）评估，结果显示：调整 min_scale 可提升抑制率（低至 95% 中文抑制且性能稳定），提高平滑度能增强抑制效果（平滑度=10.0 即可达标）；定性示例中，平滑模型面对中文生成提示，多数情况能抑制中文输出，且代码生成等核心功能无明显退化。结论是，Smoothie Qwen 能减少 95% 以上意外中文生成并保留核心功能，推荐配置为基础 N-gram 分析（n=2），用户可按需调整窗口大小至 3-4。需注意，修改模型权重后建议验证性能，Unicode 范围可自定义以抑制其他语言，未来或支持更多分析方法。

高通开发者论坛

6,677

社区成员

6,103

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章