Sparse Transformers稀疏推理加速器 2025年6月12日8时 作者 NLP工程化 大模型推理加速器Sparse Transformers通过稀疏化技术提升1.6-1.8倍性能,支持LLaMA 3B模型,并实现内存占用减少和生成速度提升。
大模型长文本所面临的主要问题 2024年12月5日11时 作者 AI探索时代 大模型在处理长文本时面临输入长度限制、计算资源消耗及上下文保持等问题,提出解决方案包括分段处理、滑动窗口、外部记忆机制等方法。