BERT Fine-tuning数学原理解析

一、BERT微调( Fine-tuning)介绍 从传统机器学习(Traditional ML)和迁移学习(Transfer Learning)对比看，传统的方式是一种相对隔离的，单个任务的学习，知识无法保留或者积累；在迁移学习中，新任务的学习依赖于前面已进行学习的任务，如下图所示，假设有两个数据集，分别对应两个学习任务，第一个任务学习到的知识通过模型保留下来，然后传递给第二个任务，这就是一个迁移模型的过程。迁移学习并不完全等同于fine-tuning的过程，譬如在NLP领域，在完成迁移学习之后，还..