#Deepmind推出PonderNet算法# Deepmind提出的PonderNet算法,允许#人工神经网络#在回答之前学习思考一段时间。它激励探索而不是思考时间,以提高预测的准确性。PonderNet提高了神经网络在训练分布之外进行泛化的能力,并比以往任何时候都更有信心回答棘手的问题。PonderNet是完全可微的,可以利用低方差梯度估计。与ACT不同,它具有无偏梯度估计。它通过将停机(halting)策略重新制定为概率模型来实现这一点。论文:https://arxiv.org/pdf/2107.05407.pdf
...全文