问答-0708（周）版本发布内容

CSDN问答问答小助手 2021-07-09 10:39:21

本周问答上线的主要功能一览，有问题或建议，请在下方留言，我们会及时跟进～

1、PC端提问页优化，增加提问助手

请根据右侧提示对问题进行修改，符合规范才可以提交问题哦，提高社区质量靠我们一起努力！
检查下相似问题有没有解决你的困难呢，被解决了的重复问题咱就不要提啦
问题标签增加智能推荐，希望可以减少你选择标签的时间

2、回答取消自动关注问题
回答是否关注问题，由你来决定，选择关注问题可以获取问题的最新回答

3、调整回答默认排序
默认排序采纳第一，点👍第二，其余靠后，争取获得采纳和点赞可以让答案更靠前

还有些细节优化，欢迎大家使用中发现

...全文

2175 回复打赏收藏转发到动态举报

写回复

用AI写文章

切换为时间正序

请发表友善的回复…

发表回复

本课程了有关Transformer和大语言模型(LLM)的关键前置知识, 包括注意力机制、多头注意力、编码器-解码器结构等Transformer原理, 以及LLM的文本生成和LLM微调技术原理。在此基础上, 重点介绍了Llama 3模型的进化历程、技术原理和代码实现。其中涉及RMSNorm归一化、SwiGLU激活函数、RoPE位置编码、GQA注意力和KVCache等关键技术。通过代码解析, 深入剖析了Llama 3的架构设计和代码实现。在实践部分, 课程还介绍了如何在阿里云使用Ollama和vLLM部署Llama 3模型, 以及使用llama_factory工具进行基于LoRA和QLoRA的llama3 8B大模型微调。项目实战环节则提供了从准备数据集到训练、推理、评估的全流程指导, 聚焦中文增强和医疗问答两大应用方向。这是一门内容全面、理论实践并重的大模型课程。不仅系统讲解了LLM和Llama 3的技术原理, 还通过代码解析和实战项目深度剖析了相关技术在工程落地中的关键环节, 有助于学员全面掌握大模型相关知识和动手实战能力。-------------------------------------------------------------------------------具体课程内容如下：前置知识1：Transformer原理与代码精讲- 注意力机制：了解注意力机制如何使模型能够捕捉输入序列中不同位置之间的相关性。- 自注意力：解释自注意力如何允许序列的每个元素都与序列中的其他元素进行交互。- 多头注意力：探讨多头注意力如何通过并行处理多个注意力层来增强模型的能力。- 位置编码：学习位置编码如何为模型提供序列中单词的位置信息。- 编码器和解码器：深入分析Transformer的编码器和解码器结构，以及它们在模型中的作用。- 层归一化（LayerNorm）和前馈网络（FFN）：介绍这两种技术如何帮助稳定和增强模型的训练过程。- 代码精讲：讲解Transformer模型的PyTorch代码实现细节等。前置知识2：大模型(LLM)文本生成- LLM的推理方式- LLM的文本生成模式: 主要有Completion模式和Chat模式两种- LLM的文本生成策略: 包括贪婪搜索、束搜索、随机采样、温度采样、Top-k采样和Top-p采样等- LLM中的Token与分词器- llama3的文本生成过程- LLM文本生成的预填充和解码阶段- LLM文本生成中的Q、K、V机制前置知识3：大模型微调原理- LLM的开发流程可分为预训练、有监督微调、奖励建模和强化学习四个阶段- 从基座模型到对话模型的转变。- 针对特定领域的SFT微调- 微调的技术方法包括全参微调、冻结微调、LoRA、QLoRA- LoRA技术原理和有效性- QLoRA技术原理 Llama3进化史和生态 Llama3原理精讲- Llama3模型架构- RMSNorm归一化技术- SwiGLU激活函数- RoPE旋转位置编码- GQA分组查询注意力- KVCache Llama3代码解析- 各文件功能- completion和chat应用脚本代码解析- generation.py代码解析- model.py代码解析- tokenizer.py代码解析- RMSNorm代码解析- SwiGLU代码解析- GQA代码解析- RoPE代码解析- KVCache代码解析 Llama3部署- Ollama部署llama3-阿里云免费GPU算力领取及实例创建、ollama安装、llama3推理- VLLM部署llama3 Llama3项目实战1-llama_factory微调llama3中文增强大模型- llama_factory介绍- llama_factory安装及llama3模型下载- LoRA微调训练llama3 8B Instruct模型- llama3中文增强大模型推理- llama3中文增强大模型评估(MMLU, CEVAL, CMMLU)- LoRA文件合并 Llama3项目实战2-llama_factory微调llama3医疗问答大模型(LoRA)- 准备医疗问答大模型数据集- LoRA微调训练llama3 8B Instruct模型- llama3医疗问答大模型推理 Llama3项目实战3-llama_factory微调llama3医疗问答大模型(QLoRA)- QLoRA微调训练llama3 8B Instruct模型- llama3医疗问答大模型推理-----------------------------------------------------------------------------------购课后可加入课程学习QQ群：364717673

SOFA WEEKLY | 每周精选筛选每周精华问答，同步开源进展欢迎留言互动～SOFAStack（ScalableOpenFinancialArchitecture Stack）是蚂蚁集团自主研发的金融级云原生架构，包含了构建金融级云原生架构所需的各个组件，包括微服务研发框架，RPC 框架，服务注册中心，分布式定时任务，限流/熔断框架，动态配置推送，分布式链路追踪，Metrics 监控...

OpenIM介绍 OpenIM是由前微信技术专家打造的开源的即时通讯组件。OpenIM包括IM服务端和客户端SDK，实现了高性能、轻量级、易扩展等重要特性。开发者通过集成OpenIM组件，并私有化部署服务端，可以将即时通讯、实时网络能力快速集成到自身应用中，并确保业务数据的安全性和私密性。代码100%开源，开源协议Apache-2.0 License任何企业和个人都可以免费使用（包括商用）。开发者可以选择自行安装私有化部署，基于SDK二次开发。项目成果官方文档：https://doc.rentso

熟悉RT-Thread和瑞萨MCU的朋友都知道，当前RT-Thread仓库的主线代码是不支持RA2E1这个BSP的。刚好，最近我在联合瑞萨推广一个叫《致敬未来的攻城狮计划》，使用的就是RA2E1开发板，正好乘着这个机会把RA2E1这个BSP合入到主线去，想必一定非常有趣。

CSDN 全站建议专区

9,176

社区成员

2,786

社区内容

发帖

与我相关

我的任务

其他其他

社区管理员

加入社区

近7日
近30日
至今

加载中

社区公告

试试用AI创作助手写篇文章吧