是时候“抛弃”谷歌 BERT 模型了!新型预训练语言模型问世

640?wx_fmt=gif

640?wx_fmt=jpeg

作者 | XLNet Team

译者 | 孙薇

责编 | Jane

出品 | AI科技大本营(ID: rgznai100)

近日,XLNet 团队发布了新型预训练语言模型 XLNet,这个新模型在各项基准测试中都优于谷歌之前发布的BERT模型,其中模型 XLNet-Large 的数据量更是 BERT 模型的 10 倍左右。那 XLnet 和 BERT 到底要选谁?

这次 XLnet 团队进行了一次对比实验,为了确保对比的公正性,在对比实验中作者采用相同的环境和配置,相同的训练数据,并确保在 BERT 和 XLNet 两个模型的训练方法中,几乎每个超参数(hyperparameter)都是相同的,这些超参数都是由 BERT作者发布,并在BERT中使用的。即是说,这些超参数是为BERT模型设计选择的,很可能是针对BERT最优化的,而非XLNet。具体超参数设置如下(两个模型的超参数完全相同):

  • Batch-size:256;

  • 训练步数:1M;

  • 优化器:Adam,学习率 1e-4,warmup 1万,线性衰减;

  • 训练语料库:Wikipedia + BooksCorpus,在处理Wikipedia时使用了与BERT repo相同的工具,但出于某种原因,我们的Wiki语料库仅有20亿单词,BERT使用了25亿单词,因此XLNet的训练数据略少于BERT。

  • 模型结构参数:24层,1024个隐层,16 heads;

  • 微调(finetuning)超参数搜索空间。

此外,作者还修改了一些数据相关的实现细节,以便与BERT模型进行一对一的比较。

  • 在之前的实验中,预训练环节,未被mask的token无法看到分类token CLS和分隔token SEP,而现阶段的实现中可以看到了,与BERT模型保持一致。

  • 在微调环节,与BERT一样,用“BERT格式”取代了普通的 XLNet格式,即使用[CLS, A, SEP, B, SEP] 取代了 [A, SEP, B, SEP, CLS]。

另外,我们考虑了BERT模型的三种变体,并报告了各个单独任务的最佳微调结果。三种变体如下:

  • 模型1(Model-I):BERT 作者发布的原始BERT模型;

  • 模型2(Model-II):同样来自作者的中文全词覆盖模型;

  • 模型3(Model-III):由于考虑到下句预测(NSP)可能会影响表现,我们使用BERT已发布的代码针对没有NSP loss的新模型进行了预训练。

注意:由于通过不同变体可以获得各个任务的最佳表现,以上设置也许会让BERT模型更占优势。

GLUE 和 SQuAD上的开发设置结果,及 RACE 上的测试设置结果如下(并未使用数据增强、集成或多任务学习):

640?wx_fmt=png

不同模型对比。XLNet-Large (as in paper)所使用的训练数据更多一些,batch size也稍大。BERT模型,针对每个数据集我们只报告3个变体中微调最优的结果。

表格中有些观测结果非常有趣:

  1. 使用相同的数据,以及几乎完全相同的训练方法来训练时,针对所有数据集,XLNet都以相当的优势胜过了BERT模型;

  2. 投入10倍多数据(对比XLNet-Large-wikibooks与XLNet-Large)的性能提升,要小于在11个基准测试中将其中8个从BERT模型换成XLNet模型的性能提升;

  3. 在某些基准测试(比如CoLA和MRPC)中,使用较少数据训练的模型,其表现要优于使用较多数据训练的模型。

我们相信,从以上结果中我们也许可以得到一些结果了。

XLNet的性能提高了:观测结果1与我们早期基于基础模型的对比实验结果一致,证明在指定相同的训练条件时,XLNet模型要优于BERT模型。

XLNet-Large可以优化到更佳:观测结果2与观测结果3似乎表明,我们之前发布的XLNet-Large(使用更多数据训练)并没有充分利用数据规模。因此,我们会继续研究相关方法,正确扩展使用XLNet模型进行语言预训练的规模。根据目前有限的观测结果,我们推测以下训练细节可能发挥着重要作用:

  • 数据相关:数据规模、数据来源、数据清洗、数据编码、数据格式化;

  • 优化相关:学习率(以及计划)、batch size、训练步骤数、优化器;

  • 重要的是:这些超参数可能彼此有高阶交互效果。

Facebook AI近期 GLUE 排行榜,可能也说明了训练细节的重要性。

总之,本实验将算法/模型的影响,与类似训练细节、大型计算及大数据这样的其他因素明确分离开来。根据以上结果,XLNet 团队认为:算法与模型至少是与其他因素同等重要的,它们很可能都是实现自然语言理解最终目标所必需的条件。

原文链接: https://medium.com/@xlnet.team/a-fair-comparison-study-of-xlnet-and-bert-with-large-models-5a4257f59dc0

懂这些项目,秒杀90%的AI工程师!

https://edu.csdn.net/topic/ai30?utm_source=csdn_bw

【END】

640?wx_fmt=jpeg

 热 文 推 荐 

小米将开源进行到底!

AI 会替代程序员?超好用的自动补全代码工具 Deep TabNine!

苹果收购英特尔手机芯片业务;西门子将在华建立 5G 研发中心;React Native 0.60.4 发布 | 极客头条

17 岁成为 iOS 越狱之父,25 岁造出无人车,黑客传奇!

抢程序员饭碗?自动写代码的Deep TabNine真如此神奇?

又是GAN!这个AI让周杰伦、罗永浩“变脸”古典画像

☞你硬盘里的那些电影都是如何被保存的?

孙宇晨深夜发文致歉: “我年轻, 涉世未深”……

中国第一程序员,微软得不到他就要毁了他!

640?wx_fmt=gif点击阅读原文,输入关键词,即可搜索您想要的 CSDN 文章。

640?wx_fmt=png你点的每个“在看”,我都认真当成了喜欢

©️2020 CSDN 皮肤主题: 代码科技 设计师: Amelia_0503 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值