https://arxiv.org/pdf/1907.11692

RoBERTa：一种稳健优化的BERT预训练方法

摘要

语言模型预训练已经带来了显著的性能提升，但对不同方法进行仔细比较具有挑战性。训练在计算上成本高昂，通常在不同大小的私有数据集上进行，并且，正如我们将展示的，超参数选择对最终结果有重大影响。我们提出了一项BERT预训练（Devlin等人，2019）的复制研究，该研究仔细测量了许多关键超参数和训练数据大小的影响。我们发现BERT的训练明显不足，并且可以匹配或超过其后发布的每个模型的性能。我们的最佳模型在GLUE、RACE和SQuAD上取得了最先进的结果。这些结果强调了先前被忽视的设计选择的重要性，并对最近报告的改进来源提出了质疑。我们发布了我们的模型和代码。

1 引言

ELMo（Peters等人，2018）、GPT（Radford等人，2018）、BERT（Devlin等人，2019）、XLM（Lample和Conneau，2019）和XLNet（Yang等人，2019）等自训练方法带来了显著的性能提升，但确定这些方法中哪些方面贡献最大可能具有挑战性。训练在计算上成本高昂，限制了可以进行的调整量，并且通常在不同大小的私有训练数据上进行，这限制了我们衡量建模进展效果的能力。

我们提出了一项BERT预训练（Devlin等人，2019）的复制研究，其中包括对超参数调整和训练集大小效果的仔细评估。我们发现BERT的训练明显不足，并提出了一种改进的BERT模型训练方法，我们称之为RoBERTa，它可以匹配或超过所有BERT后续方法的性能。我们的修改很简单，包括：（1）使用更大的批次、更多的数据对模型进行更长时间的训练；（2）移除下一句预测目标；（3）训练更长的序列；以及（4）动态改变应用于训练数据的掩码模式。我们还收集了一个大型新数据集（CC-NEWS），其大小与其他私有使用的数据集相当，以更好地控制训练集大小的影响。

在控制训练数据的条件下，我们改进的训练程序在GLUE和SQuAD上都优于已发表的BERT结果。当在更多数据上进行更长时间的训练时，我们的模型在公共GLUE排行榜上获得了88.5的分数，与Yang等人（2019）报告的88.4相匹配。我们的模型在GLUE的9个任务中的4个上建立了新的最先进水平：MNLI、QNLI、RTE和STS-B。我们还在SQuAD和RACE上达到了最先进的结果。总体而言，我们重新确立了BERT的掩码语言模型训练目标与其他最近提出的训练目标（如扰动自回归语言建模（Yang等人，2019））相比具有竞争力。

总而言之，本文的贡献在于：（1）我们提出了一系列重要的BERT设计选择和训练策略，并引入了能够带来更好下游任务性能的替代方案；（2）我们使用了一个新的数据集CC-NEWS，并确认使用更多数据进行预训练能够进一步提高下游任务的性能；（3）我们的训练改进表明，在正确的设计选择下，掩码语言模型预训练与所有其他最近发布的方法具有竞争力。我们发布了我们的模型，以及在PyTorch（Paszke等人，2017）中实现的预训练和微调代码。

2 背景

在本节中，我们简要概述BERT（Devlin等人，2019）预训练方法以及我们将在下一节中实验性地检验的一些训练选择。

2.1 设置

BERT以两个片段（标记序列）的连接作为输入，x1, ..., xN和y1, ..., yM。片段通常由多个自然句组成。这两个片段以单一输入序列的形式呈现给BERT，并用特殊标记来分隔它们：[CLS], x1, ..., xN, [SEP], y1, ..., yM, [EOS]。M和N受到约束，使得M + N < T，其中T是控制训练期间最大序列长度的参数。

该模型首先在大型未标记文本语料库上进行预训练，随后使用终端任务标记数据进行微调。

2.2 架构

BERT使用现在无处不在的transformer架构（Vaswani等人，2017），我们在这里不会详细回顾。我们使用一个有L层的transformer架构。每个块使用A个自注意力头和隐藏维度H。

2.3 训练目标

在预训练期间，BERT使用两个目标：掩码语言建模和下一句预测。

2.3.1 掩码语言模型（MLM）

输入序列中的标记被随机抽样，并替换为特殊标记[MASK]。MLM目标是关于预测被掩码标记的交叉熵损失。BERT统一选择15%的输入标记进行可能的替换。在被选中的标记中，80%被替换为[MASK]，10%保持不变，10%被替换为随机选择的词汇表标记。

在原始实现中，随机掩码和替换在训练开始时执行一次，并在整个训练期间保存，尽管在实践中，数据会被复制，因此对于每个训练句子，掩码并不总是相同的（参见第4.1节）。