RoBERTa: A Robustly Optimized BERT Pretraining Approach（一种鲁棒优化的 BERT预训练方法）

细读，半天

Motivation

• hypeparameter choices 对我们最终结果影响很大。

• 提出一项 BERT预处理的replication study：

  • 仔细测量了 许多 key hyperparameters 和 training data size 的影响

  • 发现BERT的训练明显不足，可以匹配或超过其后发布的每个模型的性能。

  • RoBERTa在 GLUE，RACE，SQuAD上获得好的效果。