社区
非技术区
帖子详情
散分(4)
do_fork
2009-12-25 12:03:41
预祝新年好
...全文
253
61
打赏
收藏
散分(4)
预祝新年好
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
61 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
pw_Start
2009-12-25
打赏
举报
回复
jf
...
myhder
2009-12-25
打赏
举报
回复
jf
jiayucunyan
2009-12-25
打赏
举报
回复
接分
luffyke
2009-12-25
打赏
举报
回复
新年快乐
pysjp
2009-12-25
打赏
举报
回复
回家过年
shiweifu
2009-12-25
打赏
举报
回复
JF4
xuzhitao1987
2009-12-25
打赏
举报
回复
接分。
baihacker
2009-12-25
打赏
举报
回复
happy new year.
camelisi
2009-12-25
打赏
举报
回复
bless
mmilmf
2009-12-25
打赏
举报
回复
呵呵...不是抢了几个了吗?看着时间也只是1秒只差啊
「已注销」
2009-12-25
打赏
举报
回复
[Quote=引用 6 楼 mmilmf 的回复:]
引用 4 楼 loaden 的回复:
引用 1 楼 mmilmf 的回复:
抢个沙发
哦,因为目的不纯,所以抢沙发失败,面壁去!
偶可不是目的不纯,来接分,顺便祝福下。您老也不能都抢了去不是。呵呵~~~
[/Quote]
我是说我目的不纯...,还好,心地还算是善良的。
xhy_851221
2009-12-25
打赏
举报
回复
up
mmilmf
2009-12-25
打赏
举报
回复
[Quote=引用 4 楼 loaden 的回复:]
引用 1 楼 mmilmf 的回复:
抢个沙发
哦,因为目的不纯,所以抢沙发失败,面壁去!
[/Quote]
偶可不是目的不纯,来接分,顺便祝福下。您老也不能都抢了去不是。呵呵~~~
aq1213
2009-12-25
打赏
举报
回复
接着接着……
「已注销」
2009-12-25
打赏
举报
回复
[Quote=引用 1 楼 mmilmf 的回复:]
抢个沙发
[/Quote]
哦,因为目的不纯,所以抢沙发失败,面壁去!
mstlq
2009-12-25
打赏
举报
回复
分到赌时方恨少,我接……
「已注销」
2009-12-25
打赏
举报
回复
既然已经抢了,就抢到底吧!!
mmilmf
2009-12-25
打赏
举报
回复
抢个沙发
企-鹅
2009-12-25
打赏
举报
回复
Merry Christmas!
jianfeng1989315
2009-12-25
打赏
举报
回复
圣诞快乐!俺也想要分
加载更多回复(41)
mini-coder-4b-OptiQ-4bit震撼发布:革命性4-bit混合精度量化模型,代码生成性能提升3.09分!
mini-coder-4b-OptiQ-4bit是基于MLX框架的4-bit混合精度量化代码生成模型,采用KL散度敏感度分析实现分层量化(123层8-bit+129层4-bit),平均5.16 bits/weight。在GSM8K和BFCL-V3任务中分别提升11.5%和9.0%,整体能力提升3.09分,KL散度降低55.3%。支持Apple Silicon高效推理,磁盘占用2.8GB,适用于代码生成、AI代理与数学推理。
为什么选择OptiQ混合精度量化?深入解析gemma-4-e4b-it-OptiQ-4bit的性能优势
本文深入解析gemma-4-e4b-it-OptiQ-4bit模型的OptiQ混合精度量化技术,涵盖敏感度感知分层量化、六领域校准、KL散度优化等核心方法;实测显示其在GSM8K、HumanEval、HashHop等任务中显著优于传统4-bit量化,平均能力分提升13.57分;专为Apple Silicon优化,支持mlx框架本地高效部署,量化配置完全透明可查。
mirrors/unsloth/llama-3-8b-bnb-4bit模型蒸馏:从70B到8B的知识迁移
本文介绍unsloth/llama-3-8b-bnb-4bit模型的技术实现,聚焦于从Llama 3 70B到8B的知识蒸馏及NF4 4-bit量化方法。涵盖教师-学生架构、注意力对齐、KL散度特征蒸馏、双重量化与混合精度计算等关键技术,并展示其在MMLU(66.6分)、HumanEval(62.2分)上的优异性能,支持边缘部署与低延迟推理。
揭秘Gemma-4-12B-it-qat-OptiQ-4bit混合精度量化技术:性能提升1.37分的秘密 [特殊字符]
本文详解Gemma-4-12B-it模型的OptiQ混合精度量化技术,采用量化感知训练(QAT)与基于KL散度的层敏感度分析,在6类任务数据集上智能分配4-bit/8-bit精度,实现综合能力提升1.37分及5.25平均比特/权重。该技术兼顾性能与存储效率,并支持多模态图文输入和Apple Silicon优化。
diffusiongemma-26B-A4B-it-OptiQ-4bit性能深度测评:MMLU提升2.9分,磁盘占用减少0.5GB的秘密
本文深度测评diffusiongemma-26B-A4B-it的OptiQ-4bit量化版本,其采用数据驱动的混合精度量化策略,在4.66 bpw下实现MMLU提升2.9分、磁盘占用减少0.5GB、推理速度提升4.6–5倍。核心技术包括基于KL散度的层敏感度评估、非均匀位宽分配(早期注意力层8-bit/专家层4-bit/视觉编码器4-bit),并支持confidence-threshold采样器与扩散式LoRA微调。
非技术区
15,446
社区成员
58,112
社区内容
发帖
与我相关
我的任务
非技术区
C/C++ 非技术区
复制链接
扫一扫
分享
社区描述
C/C++ 非技术区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章