自己基于Qwen3训练的模型是否可以转换后使用？

qq_39106697 2026-02-05 12:13:29

我们公司有一个自己训练的模型（基于Qwen3-4B），如果需要集成在这次的项目中，是否直接安装https://github.com/quic/ai-engine-direct-helper/tree/main/tools/convert/onnx2bin转换就能直接使用了？

...全文

33 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

创达-技术-李晋 02-05 16:14

打赏
举报

回复

这个是CV模型的示例，对于LLM起到参考作用。经过qnn-onnx-converter、qnn-model-lib-generator、qnn-context-binary-generator操作是可以部署到AI-PC。但是过程会存在一些动态、算子等问题，需要自行进行适配。

人工智能-项目实践-数据预处理

Python 使用千问Qwen2-VL 大模型进行训练 LaTeX 图片数据，然后进行图片识别功能源码； 1、其中包括 LaTeX 图片集下载和图片数据整理，以便于 Qwen2-VL 进行训练； 2、然后使用 Qwen2-VL 读取图片数据，进行对应的训练，生成结果 checkpoint ； 3、接着读取进行 checkpoint 进行 LaTeX 图片识别；

基于MNN-llm的安卓手机部署大语言模型Qwen1.5-0.5B-Chatmnn-llm手机端部署大语言模型以Qwen1.5-0.5B-chat模型为例详细介绍mnn-llm的使用和在Android端的部署数据徐静mnn-llm原来只支持特定模型的 ChatGLM-MNN 项目已升级并更名为 mnn-llm，并集成到了MNN项目中该项目支持多个目前主流的开源LLM模型的部署。与此同时，为了简化不同 LLM 模型向 ONNX 格式导出的流程，mnn-llm团队推出了 llm-export 项目。该项目为多种 LLM 模型提供了统一的导出方案，大大地降低了从预训练模型导出的复杂度。本项目实现了基于mnn-llm的模型转换，windows下的编译和基于QT的android端的编译和调用，并测试了Qwen1.5-0.5B模型在android端的部署。1.模型导出在将深度学习模型从研究原型转换为实际可部署的产品时，模型导出阶段的顺畅与否对于整个工作流程至关重要。通常，这个过程涉及将模型从训练框架中导出到一个中间表示，如 ONNX（开放神经网络交换格式），然后再转换为目标部

资源下载链接为： https://pan.xunlei.com/s/VOZ0np3arMZlRO3eQHf_-9hYA1?pwd=qtc9 本文介绍大规模音语言模型 Qwen2-Audio 的最新进展，该模型可接收多种音频信号输入，根据语音指令完成音频分析或直接生成文本响应。其支持两种不同的音频交互模式：目前已发布 Qwen2-Audio 系列的两款模型：Qwen2-Audio-7B 与 Qwen2-Audio-7B-Instruct。在13项标准基准测试中对 Qwen2-Audio 的能力进行评估，涉及自动语音识别（ASRAutomatic Speech Recognition）、音乐相关基准测试（Chat-Benchmark-Music）等任务，对应数据集包括 Fleurs（dev 分区）、MusicCaps（dev 分区）等。所呈现的评估结果基于原始训练框架的初始模型，框架转换为 Hugging Face 后，分数出现一定波动，此处先展示论文中初始模型的完整评估结果。部分任务评估详情如下：任务数据集模型性能指标结果 ASR Librispeech（dev-clean）、Fleurs（中文） Whisper-large-v3 WER 7.7 ASR Librispeech（dev-clean）、Fleurs（中文） Qwen2-Audio（初始模型） WER 7.5 ASR Librispeech（dev-clean）、Fleurs（中文） Qwen2-Audio（Hugging Face 转换后） WER 7.0 另有 Aishell2、Mic、CoVoST2（es-en）、AIR-Bench、Chat Benchmark、Speech 等任务的评估，且已提供所有评估脚本以复现结果，详情可参考 eval_audio/EVALUATION.md。

资源下载链接为： https://pan.xunlei.com/s/VOZ2qV77z6nxm9Jn_bZHxUoAA1?pwd=n6ye 多模态 RAG 可以结合使用 Qwen-2-VL 和 ColPali 来实现。 ColPali 是一种基于视觉语言模型的新颖模型架构和训练策略，它是 PaliGemma-3B 的扩展，可生成 ColBERT 风格的文本和图像多向量表示。ColPali 可以将多模态文档转换为图像表示法，然后计算其多向量表示法，并将其存储为索引，与传统模型不同，它为每个标记保留了单独的嵌入，能更有效地从视觉特征中为文档编制索引。 Qwen-2-VL 是一款先进的多模态 AI 模型，在图像和视频的视觉理解与交互方面有重大突破，能适应多变环境，执行复杂任务。在实际应用中，首先可以使用 ColPali 对多模态数据建立索引，比如将 DOC 和 PDF 文档转换为 JPG 页面图像，然后图像和文本通过嵌入器生成向量，存储在向量数据库中。当用户输入查询时，ColPali 处理多模态表示，从数据库中检索相关内容，再将检索到的内容提供给 Qwen-2-VL，Qwen-2-VL 基于多模态提示生成最终回答。这样就构建了一个基于 Qwen-2-VL 和 ColPali 的多模态 RAG 系统，能够更高效地处理多模态数据，为用户提供准确的回答。

高通开发者论坛

6,956

社区成员

6,135

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章