自监督训练

Jeremy Howard因其发表的论文ULMFiT，使用非监督预训练-微调范式达到当时NLP领域的SOTA，被认为是第一个大语言模型。此观点得到了同行认可和考据支持。