11.6

DeepSeek发布原生稀疏注意力（NSA）技术，旨在提升大语言模型处理长文本的能力和效率。NSA通过动态分层稀疏策略结合粗粒度的Token压缩和细粒度的选择优化，实现了高效长文本建模，实验结果显示NSA在多个任务中超越了Full Attention模型，并显著提升了计算速度。