Transformer架构

仅缩小视觉Token位置编码间隔，轻松让多模态大模型理解百万Token！清华大学，香港大学，上海AI Lab新突破

作者

文章介绍了V2PE（Variable Vision Position Embedding），一种用于增强视觉-语言模型在长上下文场景表现的位置编码方法。通过实验验证了其有效性和优势，为视觉-语言模型的发展带来了新的机遇。

什么是序列到序列(Seq2Seq)模型？以及为什么图像理解领域主要使用的是CNN网络而不是Transformer网络？

作者

大模型的核心在于特征提取和重建。Transformer架构在NLP领域表现突出，而CNN则适用于图像处理。序列到序列(Seq2Seq)用于具有连续性内容的生成，如机器翻译、语音识别及视频处理等领域。CNN擅长处理不连续且独立的图像数据。

极限压缩380倍！比OpenAI的Whisper更高效，开源模型超2000颗星

作者

开源语音模型Moonshine在推理效率和性能上进行大幅度优化，输入音频信号压缩高达384倍。它使用RoPE位置编码方式处理可变长度序列，并采用了字节级BPE分词器来提高文本处理灵活性和效率。