英伟达提出全新Star Attention,10倍加速LLM推理!登顶Hugging Face论文榜
英伟达提出的新技术Star Attention能显著减少Transformer模型长序列推理时的计算量,从而提高效率和准确性。它通过将上下文分成较小块并在每个主机上独立处理这些块来实现,这有助于在不牺牲精度的情况下加速推理过程。
英伟达提出的新技术Star Attention能显著减少Transformer模型长序列推理时的计算量,从而提高效率和准确性。它通过将上下文分成较小块并在每个主机上独立处理这些块来实现,这有助于在不牺牲精度的情况下加速推理过程。
人工智能基础设施公司Nebius Group宣布获得7亿美元融资,投资方包括英伟达等。该公司的业务曾由俄罗斯科技巨头Yandex运营,并剥离给一个俄罗斯财团。
机器之心报道 tokenizer 对于图像和视频生成模型的重要性被研究者们所关注。谷歌的研究表明,好的tokenizer能够提升模型效果至最佳diffusion模型水平。英伟达开源的Cosmostokenizer采用因果结构确保只使用过去和现在的帧信息,提高学习效率并保持高质量重建。
英伟达的NVIDIA AI Blueprint和OmAgent项目展示了AI技术如何帮助用户更好地理解和分析视频内容,OmAgent提供了原生多模态智能体框架,支持设备开发和使用。
英伟达发布的新一代AI芯片Blackwell因过热问题推迟发货,引发了客户担忧。尽管存在良品率低和设计缺陷的问题,但其强大的计算能力和能耗优势仍受到热烈追捧。