Transformer Architectures

近期Google DeepMind的研究人员设计了一种能够根据词的重要性调整计算量的语言模型，通过一个轻量级的‘路由器’决定每个词在共享网络模块中的循环次数，显著提高了模型性能和效率。