摩尔官网提供的 vllm镜像无法下载

软件架构师笔记

新星创作者: 后端开发技术领域

2026-07-15 18:34:46

sh-harbor.mthreads.com/mcc-ai-serving/vllm-musa-ph1-py310-sets2:4.3.1-fix-ca-reduce

这个域名无法访问，请问通过什么方式还能下载这个容器镜像。我需要在摩尔的机器上进行相关的测试。

镜像地址来源：https://docs.mthreads.com/vllm-musa/vllm-musa-doc-online/S5000/quick_start

...全文

47 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文详解DeepSeek-V4-Flash在昇腾910B上的专用部署方案，强调其非量化轻量版而是基于Ascend IR重构的NPU原生推理格式；必须使用vLLM-Ascend而非标准vLLM，因其支持FLASH魔数识别、CANN Runtime加载及HBM Bank-aware调度；涵盖Ubuntu 22.04底层依赖避坑（glibc锁、Conda环境、journald日志）、完整编译部署流程、reasoning缺失根因（静态图折叠）及性能调优三要素（HBM预取、动态批处理、权重分片）。

本文聚焦DeepSeek-R1蒸馏系列模型（1.5B–32B）在沐曦、摩尔线程等国产AI芯片上的端到端部署与性能优化。涵盖环境适配（MXMACA/MTTS80驱动与定制PyTorch）、模型格式转换（Transformers/GGUF）、量化（INT8/FP16）、注意力优化（FlashAttention）、内核融合及内存布局调优等关键技术，并结合芯片设计代码补全、EDA脚本生成等真实工业场景验证效果，推动软硬协同的国产AI应用生态建设。

本文详述国产GPU MTT S5000与大模型GLM-5在SGLang框架下达成Day-0全流程适配的技术实践。核心涵盖：SGLang作为轻量级国产推理中间件，通过模块化MUSA后端实现快速集成；MTT S5000凭借HBM2e双通道显存、L2缓存优化及Tensor Core硬件对齐，显著提升GLM-5推理效率；GLM-5模型结构专为国产硬件设计，包括KV Cache头优先布局、INT8友好激活函数及训练阶段MUSA原生微调。实操覆盖环境部署、服务启动与毛细血管级参数调优，并验证其在政企信创、边缘终端、教育科研及金融合规等场景的落地可行性。

本文提出一种基于Llama 3.2-Vision的OCR增强方案，构建感知-理解-合成三层流水线：Tesseract 5.3.4负责高精度文本定位与坐标输出，Ollama本地部署的Llama 3.2-Vision模型结合图像与OCR结果进行语义理解，输出结构化XML；合成层将其转换为Markdown/PDF/数据库格式。方案强调可解释性、本地化部署与故障隔离，实测在RTX 4060上端到端延迟800ms内，文档解析准确率达98.6%。

实用代码脚本易语言源码图片组操作类

284

社区成员

152

社区内容

发帖

与我相关

我的任务

企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章