请问vllm-musa支不支持本地安装？

支持帕斯卡架构的vllm项目[项目代码]

本文介绍了一个支持帕斯卡架构（算力6.0-6.1）N卡（如P104-100、P100、P40等老款显卡/计算卡）的vllm项目。项目地址和Docker镜像均已提供，并附带了详细的启动命令和环境配置说明。作者分享了其使用四卡P104-100的实际运行效果，速度在10-20 tokens/s之间，优于ollama。此外，文章还提到vllm官方main分支不支持算力7.0以下的N卡，导致老显卡用户难以使用，而该项目解决了这一问题，且版本更新与官方保持同步。

DeepSeek V4-Flash本地部署实测教程[项目源码]

本文详细介绍了DeepSeek V4-Flash模型的本地部署方法，该模型为开源MoE架构，总参数284B但每token仅激活约13B，支持100万token上下文。文章首先分析了本地部署的适用场景，强调数据主权和深度定制是核心需求，并对比了官方API成本。硬件方面，官方FP4+FP8权重约158GB，实践及格线为1×H200或2×A100 80GB。部署步骤包括创建虚拟环境、安装vLLM 0.9+、从Hugging Face拉取权重、启动OpenAI兼容服务，并提供了Python调用示例。文章还介绍了non-thinking/high/max三档思考模式切换技巧。特别指出三个踩坑点：避免使用Ollama生产环境、合理设置max-model-len防止OOM、确保vLLM版本和trust-remote-code参数正确。最后展示了在2×A100服务器上搭建内网代码助手的完整方案，并给出了SWE-bench等基准测试成绩，证明其在日常代码补全和长文档问答场景中性价比突出。

银河麒麟V10离线安装Docker[项目源码]

本文详细介绍了在银河麒麟V10-SP1-x86_64系统上离线安装Docker的步骤及遇到的问题解决方案。主要内容包括准备Docker环境、安装containerd和Docker的具体操作步骤，以及在安装过程中遇到的启动失败问题及其解决方法。文章特别指出银河麒麟V10-SP1版本不支持自定义目录安装Docker的问题，并提供了通过创建软连接至/usr/bin目录的解决方案。最后，作者提出了关于不同版本支持自定义目录安装的疑问，希望读者能提供解决方案。

大模型推理，最关注显卡那些性能？

大模型推理，最关注显卡那些性能？

FP8量化技术解析[源码]

本文详细介绍了FP8量化技术的原理、应用及其在大模型推理中的优势。FP8是Nvidia、Arm、Intel联合推出的8位浮点数据格式，用于加速深度学习训练和推理。文章对比了FP8与INT8在精度和性能上的差异，指出FP8在动态范围和精度表示上的优势，尤其适合激活值量化。同时，介绍了FP8在TensorRT-LLM和vLLM等推理框架中的应用，包括动态和静态量化方案，以及KV Cache的FP8量化。测试结果表明，FP8量化在不同硬件上能带来10%~30%的性能提升。此外，文章还探讨了混合格式量化方法（MoFQ）和FP8量化模拟技术，为读者提供了全面的技术视角和实践指导。