Llama-2-13B

近期伯克利等机构提出COAT方法，通过动态范围扩展和混合粒度FP8精度流技术，在保持模型精度的同时显著减少FP8量化误差及激活值占用，实现了端到端内存占用减少1.54倍、训练速度提高1.43倍。