初来，散一下分

aaaaaaaaab1 2005-06-15 07:24:15

刚学程序，来报个道

...全文

197 55 打赏收藏举报

写回复

55 条回复

切换为时间正序

请发表友善的回复…

发表回复

tlowl 2005-06-23

打赏
举报

回复

接分先

土豆丝炒肉2005 2005-06-23

打赏
举报

回复

接分

hcd0311 2005-06-23

打赏
举报

回复

努力，共同学习！

simon0512 2005-06-23

打赏
举报

回复

接分

cxydbydyq 2005-06-23

打赏
举报

回复

upup！

xqk 2005-06-23

打赏
举报

回复

up

OnlyFor_love 2005-06-22

打赏
举报

回复

http://community.csdn.net/Expert/topic/4098/4098398.xml?temp=.9733087

希望大家支持
呵呵！

顺便帮楼主顶一下

calety1 2005-06-21

打赏
举报

回复

up

evil_nowt 2005-06-21

打赏
举报

回复

JF

sankt 2005-06-21

打赏
举报

回复

接分

chinatelly 2005-06-21

打赏
举报

回复

共同学习

nis3303 2005-06-21

打赏
举报

回复

我也是新人，一起加油啊！！

网络咖啡 2005-06-21

打赏
举报

回复

一起学习

hao608 2005-06-21

打赏
举报

回复

接分

rumyzp 2005-06-21

打赏
举报

回复

嘿嘿！我也是新人哦！一起加油啊！

I_T_tiger 2005-06-21

打赏
举报

回复

up

js2008 2005-06-21

打赏
举报

回复

up

An_wave 2005-06-21

打赏
举报

回复

up.....

nice_xu 2005-06-21

打赏
举报

回复

up

newsuperstar 2005-06-21

打赏
举报

回复

接分

加载更多回复（35）

这可以通过最小化KL散度来找到最优的变分分布，从而近似真实的后验分布。它是变分推断中的一个目标函数，通过最小化变分自由能，可以找到一个近似分布，使其尽可能接近真实的后验分布。变分自由能与最大化证据下界是等价的，因为最大化 ELBO 的过程等价于最小化其负值，即最小化变分自由能，且通常通过迭代的方式进行。通过最小化变分自由能，我们在近似分布的选择中取得了折中，同时考虑了与真实后验的接近度和模型对观测数据的拟合。其中，Q 是我们希望找到的近似分布，P 是真实的后验分布，X 是观测数据，Z 是未知的潜在变量。

KL散度的公式是 KL[p(x)∣∣q(x)]=∫xp(x)logp(x)q(x)dx KL[p(x)||q(x)] = \int_{x}p(x)log{p(x) \over q(x)}dx KL[p(x)∣∣q(x)]=∫xp(x)logq(x)p(x)dx 假设真实分布为p(x)p(x)p(x)，我们想用分布q(x)q(x)q(x)去近似p(x)p(x)p(x)，我们很容易想到用最小化KL散度来求，但由于KL散度是不对称的，所以并不是真正意义上的距离，那么我们是应该用KL[p∣∣q]KL[p||q]

Jensen-Shannon散度是一种改进的、对称的概率分布相似性度量，能够有效克服KL散度的局限性。它具有非负性、对称性和有界性等良好性质，广泛应用于机器学习、自然语言处理、生物信息学和信息论等领域。JS散度的直观含义是通过比较两个分布与它们的中间分布的差异，来量化两个分布之间的相似性。

RBM学习方法当前在对RBM 的研究中，典型的学习方法有Gibbs 采样(Gibbs sampling)算法，变分近似方法(variational approach)，对比散度(contrastive divergence,CD)算法，模拟退火(simulate annealing) 算法等。下面对这些方法进行对比。 1、Gibbs采样算法（1）简介 G

在介绍KL散度和JS散度之前，我们需要了解什么是信息熵，什么是交叉熵。香农信息量、信息熵香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小当对数的底数为2时，香农信息量的单位为比特香农信息量描述的是随机变量在某一点...

23,404

社区成员

70,506

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章