1000万上下文+2880亿参数的Llama4,却让DeepSeek们松了一口气
Meta发布的Llama4系列模型包括多模态MoE架构、超长上下文支持和优化的注意力机制。通过原生多模态预训练融合方法、轻量级后训练策略等创新技术提升了模型能力。
Meta发布的Llama4系列模型包括多模态MoE架构、超长上下文支持和优化的注意力机制。通过原生多模态预训练融合方法、轻量级后训练策略等创新技术提升了模型能力。
百度CEO李彦宏表示,为了开发更智能的模型需要更多计算资源,但对数据中心和云基础设施的投资仍然非常重要。尽管DeepSeek提高了AI模型效率,成本每年降低90%以上。
马斯克与OpenAI爆发矛盾。2015年OpenAI成立初期,马斯克提出要将其转型为盈利公司,并要求成为CEO。面对巨额研发资金需求,OpenAI拒绝了马斯克的提议。最终在2019年成立了非营利限制利润公司OpenAI LP。到2023年,两人因分歧加剧而成为竞争对手。