ThinkLLM：大语言模型算法与组件实现
ThinkLLM是一个开源项目，包含了Transformer核心算法、模型训练与优化算法、高效推理与部署算法、长序列处理算法等，帮助开发者和研究者深入理解大模型的底层机制。
Transformer
无需Attention的未来，RWKV-7能成为替代Transformer的那只黑天鹅吗？
在Transformer计算需求呈平方级增长下，元始智能彭博提出RWKV架构融合了Transformer和RNN的优点，在训练与推理阶段均表现出色，并通过动态状态演化技术显著提升了性能表现。
AI语音合成新标杆！开源10小时斩获8K Star！1B参数实现电影级人声!
一款名为CSM的新开源TTS模型由Sesame最新发布，能够生成带有上下文情感、自然语气和音调变化的人工智能语音。它具有高保真效果、端到端Transformer生成能力、上下文理解以及实时语音生成等功能。
重磅论文！何恺明、Yann LeCun等改造Transformer，CVPR 2025已收录
Transformer模型可能迎来新变化。一篇最新论文提出无需归一化的Transformer模型能够达到甚至超过带有归一化层的性能，通过动态双曲正切函数（DyT）替代传统归一化层，有望进一步改进AI模型性能。
精度效率双冠王！时序预测新范式TimeDistill：跨架构知识蒸馏，全面超越SOTA
新智元报道
编辑：LRST
近期，来自美国埃默里大学、澳大利亚格里菲斯大学等多地的华人科研团队提出了一种跨架构知识蒸馏框架TimeDistill，将MLP作为学生模型，其他复杂先进架构（如Transformer和CNN）作为教师模型，通过蒸馏复杂模型的优势至轻量级模型，实现计算负担大幅降低的同时显著提升预测精度。
MIT三人团队：用Transformer解决经验贝叶斯问题，比经典方法快100倍
MIT 研究人员提出一种使用Transformer解决Empirical Bayes(mean estimation)任务的方法，并发现Transformer在该任务上的性能优于经典方法，且运行速度更快。
谷歌提出Titans：突破算力限制，扩展上下文
专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言等大语言模型发展和应用落地。谷歌发布新研究Titans，通过神经长期记忆模块扩展大模型上下文窗口至200万token，超越现有Transformer模型。