LLaMA3.1-8B模型

大语言模型生成10万Token文本，TOKENSWIFT框架将时间缩短至90分钟。该框架通过多Token并行生成、动态KV缓存管理及树结构的多候选Token验证等创新技术，实现了无损加速和文本多样性提升，并在多个规模和架构上进行了测试。