【BUG】LLM｜DeepSeek-R1 本地部署回复不全容易中断Error: an error was encountered while running the model: unexpected

shandianchengzi

全栈领域新星创作者

博客专家认证

2025-03-03 20:09:16

问题收录：《Error: an error was encountered while running the model: unexpected EOF (8x H100, deepseek-r1:671b》

我最终解决了的办法：
创建新的modefile，（把下面那个代码片段的模型量级改成自己的，比如我只是修复14b，就把671b改成14b）

```
cat >Modelfile <<EOF
FROM deepseek-r1:671b
PARAMETER num_ctx 24576
PARAMETER num_predict 8192
EOF
ollama create deepseek-r1:671b-fixed -f Modelfile
```

运行

```
ollama run deepseek-r1:671b-fixed
```

...全文

323 回复打赏收藏转发到动态举报

写回复

用AI写文章

切换为时间正序

请发表友善的回复…

发表回复

2025年1月20日，杭州深度求索人工智能基础技术研究有限公司发布高性能AI推理模型DeepSeek-R1，对标OpenAI的o1正式版。目前发布了两个版本：DeepSeek R1-Zero 和 DeepSeek R1。其中，DeepSeek-R1-Zero 是一个完全基于强化学习（RL）训练而无需监督微调（SFT）的模型。通过强化学习（RL），DeepSeek-R1-Zero 自然地展现出许多强大且有趣的推理行为。然而，它也遇到了一些挑战，如可读性差和语言混合问题。

开工大吉！春节期间DeepSeek火出了圈，但由于访问人数过多经常频繁出现反应迟缓，幸好DeepSeek 是一个开源的大模型，我们可以通过本地部署在自己的电脑上随时使用，而且部署到本地后无需联网即可直接使用。今天小弹特出一版DeepSeek：deepseek-r1本地部署篇教程。

昨天小编已经为大家分享了DeepSeek-VL2的部署教程。今天将为大家带来DeepSeek-R1蒸馏模型——DeepSeek-R1-Distill-Qwen-7B。可能有小伙伴不是很清楚，什么是蒸馏模型？机器学习（ML）中的模型蒸馏是一种将知识从大型复杂模型转移到小型简单模型的技术。目标是创建一个较小的模型，保留较大模型的大部分性能，同时在计算资源、内存使用和推理速度方面更高效、部署更容易。这对于在资源受限的环境中部署模型特别有用。DeepSeek-R1-Distill-Qwen-7B的性能如何呢。

发布[把AI带回家：DeepSeek-R1本地部署指南！再也不怕宕机了！！]后，有不少读者私信询问本地部署DeepSeek-R1的电脑配置要求。收到，本文来一起看看DeepSeek-R1每个版本的配置要求及适合场景。根据 Ollama 平台提供的 DeepSeek-R1 模型信息，以下是不同参数量模型的本地部署硬件要求和适用场景分析。

DeepSeek-R1的蒸馏模型是通过蒸馏技术从更大版本的DeepSeek-R1模型中提取出来的紧凑高效版本。这个过程将大型模型的知识和推理能力转移到更小的模型中，使它们能够在推理任务上表现良好，同时更加轻量、节省资源，并且更容易部署。DeepSeek-R1发布的不同蒸馏模型包括：DeepSeek-R1-Distill-Qwen系列：1.5B，7B，14B，32B。DeepSeek-R1-Distill-Llama系列：8B，70B。

shandianchengzi

社区成员

102

社区内容

发帖

与我相关

我的任务

物联网系统安全python 个人社区湖北省·武汉市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章