NoPE

Meta 最新开源模型 Llama 4 Scout 达到千万级上下文，拥有 1090 亿参数。其使用 NoPE 架构解决长度泛化问题，并通过优化训练流程和强化学习框架提升性能。