英伟达提出全新Star Attention,10倍加速LLM推理!登顶Hugging Face论文榜

英伟达提出的新技术Star Attention能显著减少Transformer模型长序列推理时的计算量,从而提高效率和准确性。它通过将上下文分成较小块并在每个主机上独立处理这些块来实现,这有助于在不牺牲精度的情况下加速推理过程。

英伟达开源福利:视频生成、机器人都能用的SOTA tokenizer

机器之心报道 tokenizer 对于图像和视频生成模型的重要性被研究者们所关注。谷歌的研究表明,好的tokenizer能够提升模型效果至最佳diffusion模型水平。英伟达开源的Cosmostokenizer采用因果结构确保只使用过去和现在的帧信息,提高学习效率并保持高质量重建。