南加大团队提出MARVEL:基于认知科学的多维抽象视觉推理基准测试

研究团队提出MARVEL数据集来评估多模态大语言模型的抽象视觉推理能力,该数据集中包含了770个高质量测试样例,并覆盖了六种核心知识模式、多样化的几何和抽象形状输入以及五种不同的任务配置方式。实验结果显示大多数模型在MARVEL上的表现接近随机水平,揭示出模型的视觉感知能力是提升其抽象视觉推理的关键瓶颈。

GitHub Copilot扛不住Cursor的竞争,终于推出了免费版本

GitHub Copilot 推出了新的免费计划,用户无需试用或订阅即可使用。此计划为每位用户提供每月高达2000次代码补全机会、50次聊天请求权限,并可访问多种高级模型。除此之外,GitHub 还宣布开发者数量突破1.5亿大关。

再谈大模型长文本分块,以及分块在RAG中的作用?

文本分块技术用于解决长文本处理中的上下文窗口限制问题。在大模型中采用类似阅读厚书的方法进行分块,使用chunk_overlap参数确保相关性。但在向量数据库中检索时,如何保证语义相关性的高效检索成为新挑战。

NeurIPS 2024 如何缓解长文本情境下的中间信息丢失问题?

最近提出的方法通过在短时间内微调插入位置编码(PE)来有效地扩展预训练 LLM 的上下文窗口。然而,现有的方法仍存在两个显著的局限性:需要对目标长度进行微调,并且难以有效利用来自上下文中间部分的信息。为了解决这些问题,本文提出了 CREAM 方法,通过操纵位置索引来生成较短序列,在保持高效的同时增强模型在处理“中间”内容时的有效性。

Databricks又融了100亿美元,融资超过OpenAI,太值钱了

Databricks Inc. 成功完成100亿美元J轮融资,估值高达620亿美元,成为历史上最大规模的风险投资之一。作为数据分析和人工智能领域的领先企业,Databricks通过其 ‘数据湖屋’ 概念,利用融合数据湖与数据仓库的优势来存储和分析海量数据,并已突破30亿美元ARR的里程碑。