内存占用

大模型评估排障指南系列文章的第一篇。介绍了调整 batch size、数据并行、精度调整、估算内存需求、量化、模型并行和用 CPU 减负等方法优化推理速度和减少内存占用的策略。