双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒,抽取你的专属好礼

— 惊喜奖品抢先看 —

【BUG】LLM|DeepSeek-R1 本地部署回复不全容易中断Error: an error was encountered while running the model: unexpected

shandianchengzi shandianchengzi 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

问题收录:《Error: an error was encountered while running the model: unexpected EOF (8x H100, deepseek-r1:671b》

我最终解决了的办法:
创建新的modefile,(把下面那个代码片段的模型量级改成自己的,比如我只是修复14b,就把671b改成14b)

```
cat >Modelfile <<EOF
FROM deepseek-r1:671b 
PARAMETER num_ctx 24576
PARAMETER num_predict 8192
EOF
ollama create deepseek-r1:671b-fixed -f Modelfile
```

运行

```
ollama run deepseek-r1:671b-fixed
```

...全文

相关推荐

Ollama本地部署deepseek-r1:1.5b

你还可以基于现有模型进行微调或自定义。Ollama 支持导入自定义模型权重和配置文件。其中,Modelfile是一个包含模型配置的文件。Ollama 是一个强大的工具,适合在本地环境中部署和运行大型语言模型。通过简单的命令行操作,你可以轻松下载、运行和管理多种开源模型,并通过 API 进行集成。无论是研究还是开发,Ollama 都能提供灵活且高效的解决方案。

junjunnana123

Anything LLM集成DeepSeek本地知识库部署实战指南

本地知识库系统是企业构建私有AI能力的核心基础设施,其本质是将文档内容向量化后,通过大语言模型完成语义检索与生成式问答。关键技术路径依赖于LLM应用框架(如Anything LLM)与开源大模型(如DeepSeek)的深度协同,需兼顾中文长文本理解、低延迟推理、数据不出域等硬性要求。DeepSeek系列模型凭借128K上下文支持、针对法律/技术文档优化的tokenization策略,以及高精度结构化信息抽取能力,在本地化部署中展现出显著优势。本文聚焦于Anything LLM与DeepSeek的工程级集成,

weixin_33743661

政府科技管理者如何提升科技成果转化项目进场交易的备案效率?.docx

政府科技管理者如何提升科技成果转化项目进场交易的备案效率?

BIZKEEN

山区道路边坡落石隐患检测数据集VOC+YOLO格式241张1类别.md

【重要提示】本页面仅为资源介绍,不含外部下载地址 亲爱的 CSDN 用户: 感谢你浏览本资源页面,在这里提前向大家说明相关情况,避免后续产生误解。本资源我设置的初衷是 0 积分免费分享文档介绍,希望可以无偿给到有需要的朋友。但 CSDN 平台存在自动调控机制,系统会根据资源下载热度、文件体积、平台规则等因素,自动修改资源所需下载积分,页面显示为 1 积分、2 积分或更高积分都属于平台自动调整结果,并非我手动修改设置,我没有权限自主锁定积分数值。 如果你打开页面后,发现下载所需积分不为 0,请务必谨慎考虑是否下载。一旦你支付积分完成下载,后续遇到资源内容和描述不符、文件损坏等问题,我无法承担对应的积分损失,也没有渠道为你办理积分退还。在此强烈建议,只有页面明确显示 0 积分的时候,再进行下载操作。 同时特别说明:这份资源介绍文案里,没有附带任何外部下载地址。资源本身是通过 CSDN 官方上传通道上传的附件,正常情况下直接点击页面自带的下载按钮即可获取文件。页面找不到外部下载链接属于正常情况,并非资源缺失。 如果因为平台积分显示异常,导致你被扣取积分,积分退款、积分异常相关问题,请直接联系 CSDN 官方客服咨询处理。平台规则由官方制定,我无法干预积分变动,望各位理解。

fl176831

高空作业栏杆检测数据集VOC+YOLO格式230张3类别.md

【重要提示】本页面仅为资源介绍,不含外部下载地址 亲爱的 CSDN 用户: 感谢你浏览本资源页面,在这里提前向大家说明相关情况,避免后续产生误解。本资源我设置的初衷是 0 积分免费分享文档介绍,希望可以无偿给到有需要的朋友。但 CSDN 平台存在自动调控机制,系统会根据资源下载热度、文件体积、平台规则等因素,自动修改资源所需下载积分,页面显示为 1 积分、2 积分或更高积分都属于平台自动调整结果,并非我手动修改设置,我没有权限自主锁定积分数值。 如果你打开页面后,发现下载所需积分不为 0,请务必谨慎考虑是否下载。一旦你支付积分完成下载,后续遇到资源内容和描述不符、文件损坏等问题,我无法承担对应的积分损失,也没有渠道为你办理积分退还。在此强烈建议,只有页面明确显示 0 积分的时候,再进行下载操作。 同时特别说明:这份资源介绍文案里,没有附带任何外部下载地址。资源本身是通过 CSDN 官方上传通道上传的附件,正常情况下直接点击页面自带的下载按钮即可获取文件。页面找不到外部下载链接属于正常情况,并非资源缺失。 如果因为平台积分显示异常,导致你被扣取积分,积分退款、积分异常相关问题,请直接联系 CSDN 官方客服咨询处理。平台规则由官方制定,我无法干预积分变动,望各位理解。

fl176831
评论
收藏 已收藏
分享
返回顶部
shandianchengzi
shandianchengzi 新星创作者: 编程框架技术领域 新星创作者: 编程框架技术领域领域专家: 操作系统技术领域 领域专家: 操作系统技术领域
shandianchengzi 4 成员 106 内容