每日分享_2022_8_3

[herosunly]

1. Pytorch的基本概念介绍：

• zero_grad clears old gradients from the last step (otherwise you’d just accumulate the gradients from all loss.backward() calls).
• loss.backward() computes the derivative of the loss w.r.t. the parameters (or anything requiring gradients) using backpropagation.
• opt.step() causes the optimizer to take a step based on the gradients of the parameters.

  loss.backward()    # 1. 求导
  optimizer.step()    # 2. 梯度下降
  optimizer.zero_grad() # 3. 梯度清零，避免累加
  

  2. 维基百科中文数据：https://dumps.wikimedia.org/zhwiki/

  3. 工具介绍：OpenCC是一款开源的中文处理工具，支持字符级别的转换，可以在中文简体和繁体以及香港、台湾之间相互转换

  4. PyTorch操作：PyTorch中定义模型时，有时候会遇到self.register_buffer('name', Tensor)的操作，该方法的作用是定义一组参数，该组参数的特别之处在于：模型训练时不会更新（即调用 optimizer.step() 后该组参数不会变化，只可人为地改变它们的值），但是保存模型时，该组参数又作为模型参数不可或缺的一部分被保存。