优化器状态

近期研究提出COAT方法利用FP8量化技术，通过动态范围扩展和混合粒度精度流优化大型模型训练中的内存占用和加速速度，保持模型精度的同时显著减少显存使用并提升训练效率。