超详细！AIGC面试系列大模型基础

ID_LWQ 2024-03-10 17:08:38

关于我

从2022年末开始接触AIGC，便一直紧跟最近技术与实践落地。期间深度参与copilot项目研发，落地了多个垂类AIGC大模型应用，熟悉各种AIGC相关技术如Agent，Langchain，chatdoc，向量数据库等。

关于本系列，目前更新了两期，可订阅专栏，及时接收最新信息
超详细！AIGC面试系列大模型基础(1)-CSDN博客

超详细！AIGC面试系列大模型基础(2)-CSDN博客

...全文

191 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本系列是结合AI搜索技术所得素材然后整理笔记而成。所有问题答案均由AI提供初稿，而后修缮而成。担心提供错误答案怎么办？每个问题回答后面我都会放上原文的链接，方便大家深度阅读。我会尽量根据自己的判断，审核一下AI的回复做点修正，如有纰漏尽情谅解。另外有覆盖不到的问题，尽情留言，我可能不会逐一回复，但一定会在下期更新。

本期问题快浏 1. 大模型领域的Scalling law是什么意思 2. 大模型的Tokenizer的实现方法及原理？ 3. 为什么大模型这么消耗显存？ 4. 简要介绍下Transformer架构 5. 训练一个大模型需要哪些步骤？ 6. 微调一个大模型需要哪些步骤？

本期问题快览有哪些常见的大模型推理优化技术介绍下通过流水线处理技术来加速大模型推理方案介绍下并行计算技术来加速大模型推理的方案有哪些通过硬件来加速大模型推理的方式？模型量化是如何加速大模型推理的？有哪些通过缓存来加速大模型推理的方式？ vLLM 如何优化大模型并行推理加速什么是 PagedAttention？ PagedAttention 技术细节什么是Flash Attention？ Flash Attention 技术细节？

大模型常用的激活函数有哪些？ Multi-query Attention 与 Grouped-query Attention 是否了解？区别是什么？ GPT3、LLAMA、ChatGLM 的Layer Normalization 的区别是什么？各自的优缺点是什么？ llama 输入句子长度理论上可以无限长吗？大模型长下文能力的提升关键是什么？什么是 LLMs 复读机问题？为什么会出现 LLMs 复读机问题？如何减轻LLMs的复读机问题？什么情况用Bert模型，什么情况用LLaMA、ChatGLM类

如何让大模型处理更长的文本？如果想要在某个模型基础上做全参数微调，究竟需要多少显存？什么是有监督微调SFT SFT 指令微调数据如何构建? 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？领域模型Continue PreTrain ，如何让模型在预训练过程中就学习到更多的知识？进行SFT操作的时候，基座模型选用Chat还是Base? 领域模型微调领域评测集如何构建

2022AI面试1000题讨论区

69

社区成员

29

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章