通俗易懂地理解BERT并微调

目录模型架构预训练步骤MLM(Mask Language Model)NSP下游任务微调BERT如何提升BERT下游任务表现模型架构BERT的基础transformer结构（encoder部分）：输入部分：对于transformer来说，输入部分会进行两个操作，包括Input Embedding和Positional Encoding两部分。Input Embedding就是将输入转为词向量，可以是随机初始化，也可以是使用word2vec。Positional Encoding就是位置编码，用