摩尔线程局域网部署dify踩坑备忘

[wangdou8521]

配置：

cpu i5-13400

显卡 mtt s80

系统 ubuntu22.04(kernel 6.8.0-52)

 

1安装sdk

这里推荐3.1.1版本，4.0的sdk里面的3.0驱动有问题，安装后无法让ollama运行在gpu里，天坑！

须知3.1.1包内的2.7.1驱动是compute-only，无法启动图形界面，建议用集显输出。

此外还需要修改/usr/bin/X 这个文件

打开/usr/bin/X 这个文件，进行修改。

#被注释掉的是musa驱动修改的部分
#basedir=/usr/local/bin
#修改部分
basedir=/usr/lib/xorg

 2安装 docker以及ollama

参考在摩尔线程 MTT S80 上使用 Ollama 进行 DeepSeek R1 蒸馏版模型推理

此处 有坑，到了启动容器这一步请用 

docker run -d -v ollama:/root/.ollama -e OLLAMA_HOST=0.0.0.0:11434 -p 11434:11434 --name ollama --restart always mthreads/ollama

将容器内的ollama端口映射，同时开放权限，否则dify识别不到。

3安装dify并关联ollama模型

参考【零基础】Ubuntu22.04本地部署Dify

踩坑点来了，添加模型时基础url这里填写

http://本机ip:11434。

单纯使用127.0.0.1和host.docker.internal 都访问不到，不过因为目的是局域网部署，所以不考虑本地访问问题。

 

如果想用host.docker.internal域名需要修改 docker-compose.yml 文件

如果使用的是 docker-compose 来启动容器，则可以在 docker-compose.yml 中为相关服务添加如下配置：

services:
  your_service_name:
    image: your_image_name
    extra_hosts:
      - "host.docker.internal:host-gateway"

这会使得容器能够解析并访问名为 host.docker.internal 的主机地址，指向宿主机网关 IP 地址