2020年，GPT-3可以说是圈外了。我讲故事的工作不仅蓬勃发展，而且我还玩过网页设计，操作和维护以及国际象棋...。尽管性能出色，但GPT-3背后确实有1750亿个参数。在实际的应用场景中确实很难实现。现在，为解决这个问题，普林斯顿大学的陈丹奇，高天宇和麻省理工学院的博士生亚当·费施（Adam Fisch）在最新论文中提议使用较小的语言模型，并使用少量样本来微调语言的权重。语言模型。此外，实验表明，与普通的微调方法相比，这种称为LM-BFF（更好的弹丸微调语言模型）的方法可以将性能提高多达30％。有关详细信息，我们一起往下看。方法的原理首先，研究人员采用了基于提示的预测路线。所谓的基于提示的预测是将下游任务视为掩盖的语言建模问题，并且该模型直接为给定的提示生成文本响应。这里要解决的问题是找到正确的提示。这既需要该领域的专业知识，又需要对语言模型的内部运作的理解。在本文中，研究人员提议引入一个新的解码目标来解决此问题，即使用Google提出的T5模型在指定的小样本训练数据中自动生成提示。其次，研究人员以附加上下文的形式向每个输入添加了示例。问题的关键在于对具有大量信息的示例的有限考虑。一方面，由于可用示例的数量受到模型的最大输入长度的限制；另一方面，大量不同类型的随机示例混合在一起，这将产生很长的Context，不利于模型学习。为此，研究人员开发了一种动态，选择性和精细的策略：对于每个输入，从每个类别中随机选择一个样本，以创建一组多样化的最小演示。此外，研究人员还设计了一种新的抽样策略，将输入与相似的样本配对，从而为模型提供更有价值的比较。实验结果那么，这么小的样本学习方法可以达到什么效果呢？研究人员对8个单句和7个句子对NLP任务进行了系统的评估，这些任务涵盖了分类和回归。结果表明：基于提示的微调在很大程度上优于标准微调；自动提示搜索可以匹配甚至胜过手动提示；添加示例对于微调非常有效，并提高了小样本学习的性能。在K = 16的情况下（即每个类别中的样本数为16），从上表的结果可以看出，该方法在所有任务中均可以实现11％的平均性能提升，明显优于标准的微调程序。在SNLI任务中，改进达到30％。但是，该方法仍然存在明显的局限性，其性能仍然远远落后于通过训练大量样本获得的微调结果。关于作者论文有两位共同作者。高天宇是清华大学本科生特殊奖学金的获得者，在THUNLP实验室刘志远副教授的指导下，他在本科学习期间发表了4篇顶级会议论文。今年夏天，他从大学毕业后，就去普林斯顿大学攻读博士学位。在本文的另一作者陈丹奇的指导下。在此之前，Qubit曾分享他在撰写论文，进行实验以及与上司相处方面的经验。 Adam Fisch是MIT电气工程和计算机科学的博士学位候选人，是CSAIL和NLP研究小组的成员。他的主要研究方向是应用于NLP的迁移学习和多任务学习。他于2015年至2017年毕业于普林斯顿大学，并获得学士学位，并是FacebookAI研究所的研究工程师。至于伟大的神陈丹奇，每个人都已经对此很熟悉。她毕业于清华大学瑶班，然后获得博士学位。来自斯坦福大学。在2019年秋天，她成为普林斯顿大学计算机科学系的助理教授。最后，本文的代码将很快开源。如果您想了解本文的更多详细信息，请阅读文章末尾的文章链接〜门户文章地址：https://arxiv.org/abs/2012.15723v1项目地址：https：// github。 com / princeton-nlp / LM-BFF