Ollama无法运行qwen2.5

[weixin_41481880]

按照官方说明我用3.0.1版本的SDK成功运行了DeepSeek-r1的7B和14B的版本。我在Ollama的容器里又拉取了qwen2.5的7B版本，可以通过ollama run qwen2.5:7b加载模型，但是无法交互，输入一句话就崩溃了。运行以下命令看Docker的日志：

$ sudo docker logs ollama

发现有如下报错信息：

MUSA error: unknown error
  current device: 0, in function ggml_cuda_op_mul_mat at //ml/backend/ggml/ggml/src/ggml-cuda/ggml-cuda.cu:1657
  musaGetLastError()
//ml/backend/ggml/ggml/src/ggml-cuda/ggml-cuda.cu:75: MUSA error
SIGSEGV: segmentation violation
PC=0x7f6a2ed03436 m=3 sigcode=1 addr=0x7f6a9758504c
signal arrived during cgo execution

尝试了qwen2.5:0.5b，llama3.2也是一样报错。是CUDA的兼容问题吗？

[wangdou8521]

用3.1.1或者4.0.1