size2_il.cur下载

weixin_39821051 2023-11-17 15:01:09
...全文
45 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
【ggml系列】【第一篇】剖析 GPT-2：数学公式 + ggml 源码，Transformer 推理再无秘密，理解AI大模型的底层原理
本文系统剖析GPT-2在ggml框架下的完整推理流程，涵盖嵌入层、12层Transformer Block（含LayerNorm、多头自注意力、KV Cache更新、Scaled Dot-Product、MLP）、输出层Logits计算及Top-K/Top-P采样机制。结合数学公式与ggml C++源码，逐层映射张量维度变换、内存布局（如行主序、view切分）、计算图构建（DAG）与CPU执行逻辑，揭示大模型底层矩阵运算本质。
ik_llama.cpp 的 Bitnet 支持演进：scale 张量可选化与 IQ1_BN/IQ2_BN 量化体系
本文详解ik_llama.cpp中Bitnet模型支持的关键演进：PR #97实现scale张量可选化，统一兼容Microsoft BitNet假模型与自有量化格式；PR #106引入IQ1_BN/IQ2_BN per-row量化体系，替代旧有IQ1_TN/IQ2_TN，消除对独立scale张量依赖。内容涵盖转换脚本、build_bitnet推理图构建、scale平方倒数在注意力归一化中的作用，以及量化格式定义与性能验证路径。
从 CVE-2014-3589 看 Pillow ICNS 解析器的拒绝服务漏洞：根因、修复与回归验证
本文深入剖析CVE-2014-3589漏洞，揭示Pillow库ICNS解析器因缺失块长度校验导致的死循环拒绝服务问题。漏洞源于ICNS块头中构造的非法block size（≤8），使解析逻辑陷入seek-back无限循环。官方通过在块头解析入口增加length > 8校验修复，并辅以解压炸弹防护。验证涵盖PoC脚本checks/check_icns_dos.py与单元测试test_file_icns.py，覆盖版本2.3.2/2.5.2起修复。
ik_llama.cpp PR 深度解析：CUDA 非连续 RoPE 如何消除 QKV 拷贝开销
本文深度解析ik_llama.cpp中PR #66的CUDA非连续RoPE优化：通过修改rope.cu内核，支持带stride的非连续Q/K/V视图，消除投影后强制连续化拷贝开销。该优化在Phi-3.5-mini上实现PP阶段最高22%加速，TG阶段稳定提升2.1%~6.1%，并兼容Metal后端。核心在于步长寻址、in-place/out-of-place双路径设计及模型适配边界控制。
ik_llama.cpp 中的 SWIGLU unary 操作：融合 FFN 门控激活，消除冗余内存拷贝
本文解析ik_llama.cpp中新增的SWIGLU unary算子，用于融合Phi-3/ChatGLM等模型FFN中的劈半、SiLU激活与逐元素相乘操作，消除传统4节点图实现引发的冗余内存拷贝。该算子在CPU（AVX-512/SIMD）、CUDA和Metal后端均实现无拷贝计算，带来4%~12%的PP加速，并通过bf16下Wikitext-2困惑度验证数值正确性。同时揭示合并QKV张量引发的同类拷贝问题。
下载资源悬赏专区

13,652

社区成员

12,568,548

社区内容

发帖
与我相关
我的任务
社区描述
CSDN 下载资源悬赏专区
其他 技术论坛（原bbs）
社区管理员
  • 下载资源悬赏专区社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章