基于 HuggingFace Tokenizers 训练自定义分词器
社区首页 (3677)

请编写您的帖子内容
社区频道(27)
显示侧栏
卡片版式
全部
微软新闻
微软峰会
微软技术
翻译文章
其他技术
互动答疑
DotNet
Azure
Office
Visual C++
Visual C#
Visual F#
Visual Basic
Visual Studio
LeetCode
Qt Creator
SQL Server
博文收录
Copilot
Surface
Windows
Windows Server
大模型应用
News
Event
DevBlogs
最新发布
最新回复
标题
阅读量
内容评分
精选

42
评分
回复
基于 HuggingFace Tokenizers 训练自定义分词器
在大模型开发流程中,分词器(Tokenizers)是文本预处理的核心组件。神经网络无法直接理解人类的原始文本,分词器的核心作用,就是将自然语言转换为模型可用于计算的数值序列。Hugging Face Tokenizers 是底层由 Rust 编写的高
复制链接 扫一扫
分享
大模型应用

50
评分
回复
基于 HuggingFace Tokenizers 训练自定义分词器
在大模型开发流程中,分词器(Tokenizers)是文本预处理的核心组件。神经网络无法直接理解人类的原始文本,分词器的核心作用,就是将自然语言转换为模型可用于计算的数值序列。Hugging Face Tokenizers 是底层由 Rust 编写的高
复制链接 扫一扫
分享
大模型应用

64
评分
回复
基于 vLLM+Nginx 构建负载均衡推理集群
企业内部私有环境部署大模型推理集群时,很容易遇到流量调度混乱、节点负载失衡、会话上下文丢失、接口缺少鉴权防护等一系列问题,单 vLLM 推理节点难以支撑并发请求。本文基于 Ubuntu 22.04 系统环境,搭建 Nginx + vLLM-Seman
复制链接 扫一扫
分享
大模型应用

25
评分
回复
LLama-Factory 实现大模型LoRA-SFT微调指南
LLaMA Factory 是一款开源、低代码、一站式大语言与多模态模型微调框架,用于降低大模型的微调落地门槛。框架兼容 Qwen、LLaMA、ChatGLM、LLaVA 等上百款主流开源模型,支持增量预训练、SFT 监督微调、DPO、KTO、ORP
复制链接 扫一扫
分享
大模型应用

60
评分
回复
千问大模型完整RLHF全参数微调指南
大模型微调是实现模型领域定制的核心方案,本文承接《千问大模型二次 LoRA‑SFT 指令微调指南》部分内容,聚焦 Qwen3.5‑Base 纯文本基座全参数微调,完整复现 ChatGPT 风格 RLHF 对齐工程链路,覆盖数据预处理、SFT 监督微调
复制链接 扫一扫
分享
大模型应用

64
评分
回复
千问大模型二次LoRA‑SFT指令微调指南
大模型微调是实现模型领域定制的核心方案。本文基于 Ubuntu 22.04 服务器环境,依托 NVIDIA RTX 家用高性能显卡,选用千问 Qwen3.5‑0.8B‑Instruct 指令模型,完整演示二次 LoRA‑SFT 微调全流程,包含环境搭
复制链接 扫一扫
分享
大模型应用

43
评分
回复
C++ 中 extern 与 extern “C“ 详解:从跨文件共享到 C/C++ 混合编程
C++ 中 extern 与 extern "C" 详解:从跨文件共享到 C/C++ 混合编程 一、引言:两个相似关键字,两种不同用途 extern 和 extern "C" 是 C++ 中两个重要但容易混淆的语法元素。它们名称相似,但用途截然不同:
复制链接 扫一扫
分享
Visual C++

55
评分
回复
C语言从入门到精通:基础语法、数组、指针、内存、结构体、文件与项目实战
定位:这不是一篇只列语法的“知识点清单”,而是一份可以从头学习、也可以以后回来查阅的 C 语言长篇教程。文章重点放在 代码、内存模型、指针、常见错误和工程实践 上。 如果你已经会 Java / Python,也可以直接跳过非常基础的部分,把重心放到
复制链接 扫一扫
分享
Visual C++

67
评分
回复
Ubuntu 本地部署Ollama+OpenWebUI教程
本文将教大家在Ubuntu系统中,从零完成Ollama本地大模型部署与Open-WebUI可视化网页配置,全程采用虚拟环境隔离依赖、配置系统自启服务,最终搭建可远程访问的本地AI交互网页,无需联网调用、运行稳定、适配CPU及GPU本地部署场景,新手可
复制链接 扫一扫
分享
大模型应用

247
评分
回复
【全】轻量化小模型MiniMind从训练到落地指南
本文基于 Ubuntu 22.04 服务器环境,依托 NVIDIA RTX 家用高性能显卡,手把手讲解 MiniMind 轻量大语言模型从零搭建、数据集部署、全流程训练、可视化Web服务搭建及GGUF格式量化的完整实操方案。全程摒弃复杂高阶封装,基于
复制链接 扫一扫
分享
大模型应用

78
评分
回复
轻量化小模型MiniMind从训练到落地指南
本文基于 Ubuntu 22.04 服务器环境,依托 NVIDIA RTX 家用高性能显卡,手把手讲解 MiniMind 轻量大语言模型从零搭建、数据集部署、全流程训练、可视化Web服务搭建及GGUF格式量化的完整实操方案。全程摒弃复杂高阶封装,基于
复制链接 扫一扫
分享
大模型应用

178
评分
回复
LangChain 消息流输出与结构化处理
LangChain 是目前大模型应用开发领域最主流、最成熟的开源框架之一,广泛应用于私有化部署、智能体开发、工具调用、流式交互等各类场景。本文基于 LangChain 最新稳定版接口,适配本地私有化 GGUF 模型部署环境,拆解框架四大核心基础能力,
复制链接 扫一扫
分享
大模型应用

146
评分
回复
Python 原生封装 Llama.cpp 大模型推理接口
本文以通义千问Qwen量化GGUF模型为案例,基于Llama.cpp框架展示本地大模型调用与功能开发的完整实现原理及流程。全文采用原生Python编写代码案例,无需依赖重型AI框架,依次实现模型元数据解析、本地接口单次对话调用、多轮对话持久化记忆、自
复制链接 扫一扫
分享
大模型应用

76
评分
回复
LangGraph Server Agent 框架本地部署指南
本文讲解基于 LangGraph Server 服务搭建本地离线 AI Agent 的完整部署流程,适配 Windows 开发环境,全程无需调用公有大模型接口,实现纯本地化 AI 推理与工作流编排,帮助开发者快速搭建可调试、可复用的本地私有化 AI
复制链接 扫一扫
分享
大模型应用

280
评分
回复
LangChain 实现AdvancedRAG增强向量检索生成
Advanced‑RAG 是基于 Naive RAG 演化而来的高级检索增强生成方案,针对朴素RAG检索不准、上下文相关性差、召回噪声多等缺陷进行多层优化。该方案完全沿用朴素RAG的基础流水线模式、不改动核心架构,仅在各流程节点嵌入预处理、后处理增强
复制链接 扫一扫
分享
大模型应用

124
评分
回复
LangChain 实现NaiveRAG朴素向量检索生成
向量检索增强生成(RAG,Retrieval‑Augmented Generation),是弥补大语言模型固有缺陷的关键技术。它可接入私有文档、内部笔记等外部数据源,有效缓解训练数据滞后、知识固化、回答幻觉等问题,输出更为精准可信的内容。Naive
复制链接 扫一扫
分享
大模型应用

118
评分
回复
LangGraph+PostgreSQL 会话记忆持久化存储
本文基于LangGraph会话记忆管理相关内容,聚焦对话持久化存储方案,以LangChain官方推荐的PostgreSQL数据库为载体,拆解Checkpointer检查点存储与Store通用长期存储两大核心体系。通过对比两套存储机制的底层逻辑、差异特
复制链接 扫一扫
分享
大模型应用

132
评分
回复
LangChain+FastMCP 搭建大模型工具调用服务
为解决大模型外部工具调用、上下文传递标准不统一、适配混乱的痛点,本文基于 MCP 模型上下文协议,使用轻量化 FastMCP 构建 MCP 服务端,借助 langchain‑mcp‑adapters 完成与 LangChain 生态集成。文章介绍 S
复制链接 扫一扫
分享
大模型应用

84
评分
回复
LangGraph 会话切换与短期记忆管理
在 LangGraph 构建 Agent 应用时,会话记忆是核心能力,借助 Checkpointer 搭配 thread_id,可以自动保存每一轮对话轨迹与消息历史,实现多会话隔离。本文基于 InMemorySaver 内存存储,演示交互式会话切换、
复制链接 扫一扫
分享
大模型应用

129
评分
回复
LangChain+Llama.cpp 本地模型与Agent工具调用
本地大模型开发已经变得十分便捷,llama.cpp 作为轻量高效的 GGUF 模型推理引擎,可以在普通 PC 上运行 Qwen、Llama 系列量化模型。LangChain 作为大模型应用编排框架,除了对接云端 OpenAI,还能对接 llama‑s
复制链接 扫一扫
分享
Visual C++
为您搜索到以下结果:
7,459
社区成员
37,295
社区内容
发帖
与我相关
我的任务
微软技术社区
微软技术社区为中国的开发者们提供一个技术干货传播平台,传递微软全球的技术和产品最新动态,分享各大技术方向的学习资源,同时也涵盖针对不同行业和场景的实践案例,希望可以全方位地帮助你获取更多知识和技能。
复制链接 扫一扫
分享确定
社区描述
微软技术社区为中国的开发者们提供一个技术干货传播平台,传递微软全球的技术和产品最新动态,分享各大技术方向的学习资源,同时也涵盖针对不同行业和场景的实践案例,希望可以全方位地帮助你获取更多知识和技能。 windowsmicrosoft 企业社区
加入社区
获取链接或二维码
- 近7日
- 近30日
- 至今
加载中
社区公告
