社区
非技术区
帖子详情
2星了,散分了
ttyp
2004-11-28 06:06:46
嘿嘿~~
...全文
329
41
打赏
收藏
2星了,散分了
嘿嘿~~
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
41 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
caca119
2004-11-29
打赏
举报
回复
祝贺楼主......
潜水的鱼
2004-11-29
打赏
举报
回复
发了
skyboy0720
2004-11-29
打赏
举报
回复
请客!:)
超级大笨狼
2004-11-29
打赏
举报
回复
恭喜。
webmm
2004-11-29
打赏
举报
回复
接分~~~我就喜欢~~~~^^
rainxiang
2004-11-29
打赏
举报
回复
。。。。。好快啊。。。
wwj9252003
2004-11-29
打赏
举报
回复
节分
cailover
2004-11-29
打赏
举报
回复
为加星努力!!!
freetaiger
2004-11-29
打赏
举报
回复
gx,jf
zola2399
2004-11-29
打赏
举报
回复
顶
phoubes
2004-11-29
打赏
举报
回复
恭喜,哈哈~~~~ 接分来着
都被占用想不到好的了
2004-11-29
打赏
举报
回复
好多前辈
小弟初来乍到,请多多关照!
谢谢
IQ250
2004-11-29
打赏
举报
回复
收啊!呵呵
liuyangxuan
2004-11-29
打赏
举报
回复
GX VS JF
xulz
2004-11-29
打赏
举报
回复
继续努力
接分
redstorm11
2004-11-29
打赏
举报
回复
学习…………
接分
LxcJie
2004-11-29
打赏
举报
回复
^_^
xzq686
2004-11-29
打赏
举报
回复
回复人: dachangtui(大长腿) ( ) 信誉:100 2004-11-28 23:14:00 得分: 0
不,应该问
多少分两星?
10000分以上是两星。。顺便问一下,你是女生吗??你的中文名好诱人呀。哈。。
xzq686
2004-11-29
打赏
举报
回复
big sofa !
恭喜。
wen1818
2004-11-29
打赏
举报
回复
happy
加载更多回复(21)
DL:RBM学习算法——Gibbs采样、变分方法、对比散度、模拟退火
RBM学习方法 当前在对RBM 的研究中,典型的学习方法有Gibbs 采样(Gibbs sampling)算法,变分近似方法(variational approach),对比散度(contrastive divergence,CD)算法,模拟退火(simulate annealing) 算法等。下面对这些方法进行对比。 1、Gibbs采样算法 (1)简介 G
正向KL散度与反向KL散度
KL散度的公式是 KL[p(x)∣∣q(x)]=∫xp(x)logp(x)q(x)dx KL[p(x)||q(x)] = \int_{x}p(x)log{p(x) \over q(x)}dx KL[p(x)∣∣q(x)]=∫xp(x)logq(x)p(x)dx 假设真实分布为p(x)p(x)p(x),我们想用分布q(x)q(x)q(x)去近似p(x)p(x)p(x),我们很容易想到用最小化KL散度来求,但由于KL散度是不对称的,所以并不是真正意义上的距离,那么我们是应该用KL[p∣∣q]KL[p||q]
大模型知识蒸馏(Qwen2.5系列模型KL散度蒸馏)
结合公式来看,当p增大时,为了使得kl散度小,则q也需要增大,但是当p趋于0时,无论q取任何值,kl散度都比较小,因为此时p(x)log((p(x)/q(x)))的大小主要受p(x)控制,这样起不到优化q分布的效果,可能会使q分布高估p分布中概率低的位置。p为教师模型的概率分布,q为学生模型的概率分布,当p趋于零时,为了使kl散度小,q也需趋于0。将待压缩的模型作为教师模型,将体积更小的模型作为学生模型,让学生模型在教师模型的监督下进行优化,将学生模型学习到教师模型的概率分布,然后通过。
Jensen-Shannon散度(JS散度)
Jensen-Shannon散度是一种改进的、对称的概率分布相似性度量,能够有效克服KL散度的局限性。它具有非负性、对称性和有界性等良好性质,广泛应用于机器学习、自然语言处理、生物信息学和信息论等领域。JS散度的直观含义是通过比较两个分布与它们的中间分布的差异,来量化两个分布之间的相似性。
KL散度及Python实现
KL散度及Python实现1 KL散度1.1 定义1.2 公式1.3 几个结论1.4 应用1.4.1 应用1:机器学习领域1.4.2 应用2:用户画像2 Python实现求解2.1 生成分布2.2 计算方法12.3 计算方法23 参考 1 KL散度 在很多场合,经常会遇到KL散度这个概念,那么它到底是什么含义呢?如何定义的?又有哪些应用场景?最后如何用Python进行计算呢? 1.1 定义 KL散度(Kullback-Leibler divergence,简称KLD): 在信息系统中称为相对熵(relat
非技术区
2,131
社区成员
37,912
社区内容
发帖
与我相关
我的任务
非技术区
Web 开发 非技术区
复制链接
扫一扫
分享
社区描述
Web 开发 非技术区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章