02 初识大语言模型 - 什么是 Token 与 Tokenizer

亚马逊云科技培训课程 2024-05-17 09:20:38

课时名称课时知识点
02 初识大语言模型 - 什么是 Token 与 Tokenizer本课程将讲解什么是 Token 以及将文本转化为 Token 的过程 - Tokenizer，通过课程学习，学员将了解 LLM 上下文长度的概念以及商用大模型的计价方式。
...全文
4810 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
nanobot保姆级教程：Qwen3-4B tokenizer分词结果可视化、special token作用解析
本文介绍了如何在星图GPU平台上自动化部署超轻量级AI助手nanobot（基于OpenClaw），并深入解析了其内置的Qwen3-4B模型的Tokenizer工作原理。通过可视化分词过程和解析Special Token（如<|im_start|>、<|im_end|>），帮助用户理解模型如何“读懂”输入，从而优化与大语言模型的对话和提示词设计，提升交互效果。
【大模型基础】第一阶段：初识大语言模型
本章介绍**：带你穿越NLP发展史，理解为什么我们需要大语言模型，以及它们如何从"词袋"进化到"大脑"。
Qwen3-TTS-Tokenizer-12Hz实测：音频压缩效果惊艳
本文介绍了Qwen3-TTS-Tokenizer-12Hz音频编解码器的实测效果。用户可在星图GPU平台上自动化部署该镜像，快速体验其强大的音频压缩能力。该技术能将音频高效压缩为离散token，典型应用场景包括低带宽环境下的高质量语音传输，大幅节省存储与流量成本。
DASD-4B-Thinking实操手册：vLLM自定义stop_token_ids适配Chainlit流式终止逻辑
本文介绍了如何在星图GPU平台上自动化部署【vllm】 DASD-4B-Thinking镜像，实现支持长链式思维（Chain-of-Thought）的流式文本生成。该镜像专精数学推理与代码生成等需逐步推演的任务，可无缝集成Chainlit构建具备‘思考过程可视化’能力的AI对话应用。
LLM大语言模型基础与RAG系统构建实战
大语言模型(LLM)是基于Transformer架构的深度学习模型，通过海量文本数据预训练获得通用语言理解能力。其核心技术是自注意力机制，能有效捕捉文本长距离依赖关系。相比传统NLP模型，LLM采用预训练+微调范式，可灵活适配多种任务，显著提升开发效率。在工程实践中，RAG(检索增强生成)系统结合向量检索与LLM生成能力，成为处理领域知识的首选方案。典型应用包括使用HuggingFace等框架进行模型微调，以及基于FAISS构建文档问答系统。随着GPT-4等商业API的普及，开发者还需关注推理加速、成本控制
亚马逊云科技的课程社区_NO_8

4

社区成员

11

社区内容

发帖
与我相关
我的任务
社区管理员
  • 亚马逊云科技培训课程
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章