Karpathy最新分享!给大模型做好“服务”将是巨大机会
近日,Karpathy 在演讲中提出软件演进分为1.0、2.0和3.0时代。其中,3.0时代通过大语言模型(LLM)实现了编程的新方式。他指出LLM的本质类似于一个全新的操作系统,并强调了理解和利用其特长和局限性的重要性。同时,Karpathy也指出了AI时代的两大机遇:部分自主应用和构建针对智能体友好的工具。
近日,Karpathy 在演讲中提出软件演进分为1.0、2.0和3.0时代。其中,3.0时代通过大语言模型(LLM)实现了编程的新方式。他指出LLM的本质类似于一个全新的操作系统,并强调了理解和利用其特长和局限性的重要性。同时,Karpathy也指出了AI时代的两大机遇:部分自主应用和构建针对智能体友好的工具。
这篇论文探讨了通过重复采样扩展推理计算量的方法,在多种模型和任务中提高了性能。文章介绍了一种基于无限猴子定理的概念,展示了弱小的模型在大量样本支持下能超越强大的单一模型,并指出覆盖率与样本数之间的近似幂律关系及其成本效益提升。