PyTorch
《大模型白盒子构建指南》毕业，仅需2G显存，手搓关于LLM的一切！
《大模型白盒子构建指南》旨在帮助读者从基础原理出发，独立复现一个清晰、可用的大模型系统。项目涵盖大模型架构、预训练、RAG框架、Agent系统及评估体系等内容，适合有一定深度学习和NLP经验的学习者。
回顾PyTorch Eager Mode 量化 TensorRT 加速
本文介绍了如何使用TensorRT加速通过PyTorch Eager Mode量化接口生成的量化模型，包括量化步骤、修复ONNX模型图以及构建和验证TensorRT引擎等内容。